Исследовательские задачи для Devin в Answer.AI почти все провалились
Команда Answer.AI поручила Devin собрать свежие статьи автора и изучить пересказ транскриптов. Агент застрял на разборе HTML и выдал общие результаты, обе задачи признаны провалом.
Что сделали
Devin работает через Slack в собственной среде Docker с браузером, редактором и терминалом. Answer.AI дала ему две задачи. В первой нужно было собрать 25 самых свежих статей автора из Google Scholar с помощью Playwright, пропуская платные. Во второй нужно было изучить, как пересказывать транскрипты с точными таймкодами. Потом команда оценила результаты.
Что получилось
Обе задачи провалились. На сборе статей Devin застрял на разборе HTML и ушёл в спящий режим. В исследовательской задаче он принёс материалы по теме, но бесполезные, и код, который не решал главную проблему.
На что обратить внимание
Из 20 задач у Devin было 14 провалов и 3 успеха. Один успех в исследованиях, бот для Discord, получился потому, что цель была сформулирована свободно, на уровне псевдокода.
Пояснение
Answer.AI это исследовательская лаборатория в области ИИ. Playwright это инструмент для автоматического управления браузером, через него часто собирают данные со страниц.
Кому пригодится
Тем, кто выбирает автономного агента для исследовательских задач и хочет знать его слабые места.
Попробуйте сами с Devin
Изучи [автор или тема]. Найди [число] самых свежих статей и напиши по каждой пересказ в один абзац со ссылками на источники. Потом дай короткий обзор главных тем. Если страницу не удаётся прочитать, скажи, какую и почему, а не додумывай. Остановись, когда будет готова сводка со ссылками, которую я смогу проверить.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: answer.ai ·