Браузерный агент ChatGPT Atlas в веб-играх, где судоку решается быстрее человека, а Flappy Bird не даётся
Исследователи дали агенту в браузере ChatGPT Atlas поиграть в T-Rex Runner, судоку, Flappy Bird и Stein.world. Судоку он решал быстрее людей и без ошибок, а во Flappy Bird не набрал ни одного очка.
Что сделали
На странице каждой игры в браузере ChatGPT Atlas исследователи включали режим Agent Mode (Preview) и давали одну инструкцию без примеров («играй, пока не застрянешь»). По каждой игре провели 10 попыток и ни разу не вмешивались. Управление агент разбирал сам. Для Stein.world позже добавили второй промпт, где расписали клавиши и первое задание.
Что получилось
Судоку агент решал в среднем за 2 минуты 28 секунд со 100% точностью, а людям для сравнения нужно 10-12 минут. В T-Rex Runner средний счёт 45,5, во Flappy Bird ноль во всех попытках. В Stein.world агент выбрался из первой комнаты только после подробного промпта.
На что обратить внимание
Выборка маленькая, а данные о времени людей приблизительные, поэтому авторы называют результаты предварительными. Stein.world требовал явных инструкций, и даже с ними агент подолгу раздумывал перед каждым ходом.
Пояснение
ChatGPT Atlas это браузер OpenAI со встроенным ChatGPT, в котором есть режим агента. Stein.world это браузерная многопользовательская ролевая игра.
Кому пригодится
Тем, кто изучает, на что способны браузерные агенты, и хочет увидеть их пределы на простых задачах.
Попробуйте сами с ChatGPT
Открой [адрес браузерной игры, например онлайн-судоку] и сыграй полный раунд или реши головоломку целиком. Расскажи, сколько времени ушло, удалось ли закончить и где ты застрял. Если сайт попросит войти, зарегистрироваться или заплатить, остановись и спроси меня.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: arxiv.org ·