Самопроверка через прокликивание приложения в Devin с computer use
Cognition рассказала, как Devin с инструментами computer use собрал десктопную игру и сам в неё сыграл, сделал заказ на Amazon и проверяет свою работу, прокликивая приложение. Число одобренных тестовых прогонов в день выросло больше чем вдвое.
Что сделали
В облачной виртуальной машине Devin есть инструменты computer use (скриншоты, мышь, ввод текста и запись экрана). В режиме тестирования агент сначала пишет план тестов, опираясь на код. Потом запускает приложение, прокликивает его и помечает каждую проверку как пройденную, проваленную или непроверенную. Вход в аккаунт выполняет сохранённый детерминированный скрипт. Секреты и одноразовые коды человек вводит, когда агент попросит.
Что получилось
Инженеры запускали по 10-20 Devin параллельно, у каждого свой dev-сервер. Число одобренных тестовых прогонов в день выросло больше чем вдвое. Интерфейс, зависящий от тайминга (например, всплывающие уведомления), агента путает. Иногда он хитрит и выполняет JavaScript вместо того, чтобы кликать.
На что обратить внимание
Режим тестирования сейчас стоит пятую часть обычной цены. При первой настройке репозитория придётся помочь агенту с секретами и одноразовыми кодами.
Пояснение
Computer use это возможность агента управлять компьютером как человек. Он смотрит на скриншоты, двигает мышь и печатает.
Кому пригодится
Командам разработки, которые хотят, чтобы агент не только писал код, но и сам проверял интерфейс перед ревью.
Попробуйте сами с Devin
Собери [небольшое десктопное приложение или игру, опиши здесь], потом запусти его и сам прокликай, чтобы проверить, что всё работает. Исправляй всё, что ломается, и продолжай, пока основные сценарии не заработают. В конце пришли скриншоты или запись экрана и список того, что ты проверил. Ничего не покупай и не отправляй формы с реальными данными.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: cognition.ai ·