Игра с убегающей кнопкой через Gemini Computer Use и Playwright на Java
Гийом Лафорж связал модель Gemini Computer Use с Playwright на Java и дал агенту сыграть в простую игру с убегающей кнопкой. Агент набрал 10 очков, и это подтвердило, что пересчёт координат кликов работает.
Что сделали
Гийом Лафорж написал на Java цикл вокруг предварительной версии модели Gemini для computer use и headless Chromium из Playwright с окном 1000x1000. После каждого действия модель получала скриншот и возвращала клики с координатами на нормализованной сетке 1000x1000. Код Гийома пересчитывал их под размер окна и кликал. Для проверки он сделал простую игру, где красная кнопка после каждого клика перемещается, и велел агенту нажать её 10 раз и прочитать счёт.
Что получилось
Агент нажимал на убегающую кнопку и сообщил итоговый счёт 10. Значит, обработка кликов и пересчёт координат работают. Сбоев в этом тесте источник не упоминает.
На что обратить внимание
После каждого действия отправляйте модели свежий скриншот, а перед этим ждите около секунды, чтобы страница успела отрисоваться. Иначе модель увидит пустую или недорисованную страницу.
Пояснение
Computer use это режим, в котором модель управляет компьютером или браузером по скриншотам и сама говорит, куда кликнуть и что ввести. Playwright это библиотека для автоматического управления браузером, а headless значит без видимого окна.
Кому пригодится
Java-разработчикам, которые хотят встроить браузерного ИИ-агента в свои приложения или тесты.
Попробуйте сами с Gemini
Через управление браузером открой [ссылка на простую веб-игру] и сыграй в неё, глядя на скриншоты и кликая, примерно [число] ходов. Сообщи, попадали ли клики туда, куда ты целился, и отметь любые расхождения между координатами на скриншоте и реальными точками клика. Остановись, когда сделаешь все ходы, и кратко опиши, как всё прошло.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Ещё 2 источника
Источник: glaforge.dev · · обновлено