Месяц с Devin, мелкие правки удаются, а сложная фулстек-задача провалилась
Команда RunLLM месяц отдавала Devin мелкие правки кода с тестами и PR. Небольшие задачи экономили почти час каждая, а сложная задача на весь стек не получилась, и её переписали сами.
Что сделали
Команда RunLLM подключила Devin к своему репозиторию на GitHub. Агент просканировал код и попробовал пройти шаги настройки окружения. Задачи команда описывала коротко, например поправить формат круговой диаграммы, обработать пограничный случай в API или изменить расписание обновлений по умолчанию. Devin составлял план, правил код, запускал линтеры и тесты и открывал PR. На проверку каждого результата уходило около пяти минут, а через комментарии в PR можно было просить доработки.
Что получилось
Мелкие задачи в пределах одного компонента занимали минуту-две на описание и пять минут на проверку, а вручную ушёл бы примерно час. Задача на весь стек с новой таблицей, вызовом API и кнопкой провалилась, и команда переписала её сама.
На что обратить внимание
Мелкие задачи стоят 1-5 ACU ($2-10) при цене $500 за 250 ACU. Три крупные задачи в среднем заняли около 20 ACU, и две из них не дали ничего полезного.
Пояснение
ACU (Agent Compute Unit) это единица, в которой Devin считает объём работы агента и списывает оплату.
Кому пригодится
Командам разработки, которые прикидывают, какие задачи стоит отдавать Devin, а какие нет.
Попробуйте сами с Devin
В репозитории [ссылка на репозиторий] исправь [небольшая чётко описанная проблема, например формат оси графика или пограничный случай API с пустым входом]. Добавь или обнови тесты, убедись, что они проходят, и открой pull request с понятным описанием изменений. Держи задачу узкой и не рефактори посторонний код. Если задача окажется больше, чем описано, остановись и спроси меня.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Ещё 1 источник
Источник: frontierai.substack.com · · обновлено