Поиск скрытых ошибок в трассах ИИ-агентов моделью flow-1 от Laminar
Компания Laminar выпустила небольшую открытую модель flow-1, которая читает трассы агентов в продакшене и ловит неявные сбои вроде неверных кликов и ссылок. По собственному бенчмарку Laminar она в 23 раза дешевле GPT-6-sol при том же качестве.
Сделано со своим агентом
Что сделали
flow-1 это небольшая открытая модель. Её дообучили, а потом тренировали с RL на синтетических расследованиях. Работает она внутри обвязки Signals. Трассу модель читает как репозиторий, где каждый span это отдельный файл. Она начинает со сжатой трассы и запроса пользователя, ищет по спанам через grep, нужные читает целиком и возвращает находки в JSON по схеме, которую задаёт пользователь.
Что получилось
По словам Laminar, на её собственном бенчмарке flow-1 находит ошибки так же хорошо, как GPT-6-sol, но в 23 раза дешевле. Поэтому можно разбирать каждую трассу, а не выборку. Похожие находки группируются в кластеры. Бенчмарк при этом принадлежит самому разработчику.
На что обратить внимание
Signals принимает и общие запросы, например проверить, дошёл ли браузерный агент до оформления заказа. Кластеры сбоев можно превратить в наборы данных для эвалов, чтобы потом исправить эти ошибки. Laminar распространяется по лицензии Apache 2.0, его можно развернуть у себя.
Пояснение
Трасса это полная запись одного запуска агента, все его шаги, вызовы инструментов и ответы. Span это один такой шаг. RL (обучение с подкреплением) это дообучение, при котором модель получает награду за правильный результат. Эвалы это наборы тестов для проверки качества агента.
Кому пригодится
Командам, у которых агенты работают в продакшене и тихие ошибки трудно заметить вручную.
Попробуйте сами
У меня есть папка с выгруженными трассами моего ИИ-агента [путь к файлам трасс]. Прочитай каждую трассу и отметь те, где есть тихие сбои, например неверные клики, неверные ссылки на источники, пропущенные шаги или ответы, которые не совпадают с выводом инструмента. В конце дай таблицу с ID трассы, типом сбоя и пояснением в одну строку для каждой отмеченной трассы, а также подсчёт самых частых типов сбоев.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: news.ycombinator.com ·