Тест Devin в Answer.AI закончился 14 провалами из 20 задач
Команда Answer.AI дала Devin около 20 реальных задач, включая интеграцию с сервисом наблюдаемости, миграцию на nbdev и проверку безопасности. Удались только 3 задачи, 14 провалились и 3 остались без ясного результата.
Что сделали
Devin работает через Slack в собственном Docker-окружении с браузером, редактором и терминалом. Команда Answer.AI дала ему около 20 реальных задач. Среди них генерация синтетических данных с загрузкой в Braintrust, перевод проекта на Python на nbdev и проверка безопасности репозитория меньше 700 строк. Люди проверяли результат и часто доделывали работу сами.
Что получилось
Интеграцию с Braintrust бросили и переделали в Cursor. Миграция на nbdev провалилась ещё на базовой настройке. Проверка безопасности нашла несколько реальных проблем, но также ложные срабатывания и выдуманные уязвимости. Всего 14 провалов, 3 успеха и 3 неясных результата.
На что обратить внимание
Devin днями бился над невыполнимыми задачами. Для чего-то вроде проверки безопасности маленького репозитория авторы советуют один точечный запрос к LLM.
Пояснение
Braintrust это платформа для наблюдения за LLM-приложениями и их оценки. nbdev это инструмент, в котором Python-библиотеку пишут прямо в Jupyter-ноутбуках.
Кому пригодится
Техлидам, которые решают, давать ли автономному агенту реальные задачи в своём репозитории.
Попробуйте сами с Devin
Возьми три задачи в моём репозитории [название репозитория]. Добавь интеграцию с [инструмент наблюдаемости], переведи [модуль или инструмент] на [целевой инструмент или версия] и проверь код на уязвимости. По каждой задаче расскажи, как ты проверил результат, и явно отметь находки, которые не удалось подтвердить. Оформи работу отдельными PR и ничего не мержи.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: answer.ai ·