Прохождение Pokémon Blue агентом на Gemini 2.5 Pro
Независимый разработчик Джоэл Чжан собрал обвязку, с которой Gemini 2.5 Pro прошёл Pokémon Blue. Первый прогон занял 813 часов, второй, полностью автономный, 406.5 часа.
Что сделали
Независимый разработчик Джоэл Чжан (Joel Zhang) сделал обвязку, которая передаёт Gemini 2.5 Pro часть оперативной памяти Game Boy в виде текста поверх скриншота. Gemini выбирает действие, а обвязка превращает его в нажатия кнопок. Каждые 100 ходов она сжимает историю в пересказ, а каждые 25 ходов запускает экземпляр-критика. Есть и субагенты для поиска пути и для головоломок с валунами, это отдельные экземпляры Gemini со своими промптами.
Что получилось
Агент прошёл Pokémon Blue за 813 часов в первом прогоне и за 406.5 часа во втором, полностью автономном. Проблемы тоже были. Он зацикливался на длинном контексте, выдумывал предметы из других игр и плохо разбирал картинку в чистых пикселях.
На что обратить внимание
Модели было трудно читать экран по пикселям, поэтому понадобился перевод памяти игры в текст. А когда контекст сильно переваливал за 100 тысяч токенов, поведение ухудшалось.
Пояснение
Обвязка (harness) это программа вокруг модели, которая передаёт ей состояние игры и выполняет её решения. RAM это оперативная память эмулятора, из которой можно прочитать состояние игры.
Кому пригодится
Разработчикам и исследователям, которые строят агентов для долгих задач с визуальным вводом и хотят понять, где модели сейчас спотыкаются.
Попробуйте сами с Gemini
Помоги собрать агента, который играет в [игра, например Pokémon Blue] в эмуляторе [путь к эмулятору или настройка]. Он должен читать состояние игры из [RAM или скриншоты], выбирать действие и отправлять его как нажатия кнопок, а для [подзадача, например поиск пути] пусть будет простой помощник. Работа готова, когда агент может сам сделать [число] шагов и записывает, что решил на каждом.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: arxiv.org ·