Игра в Wordle через агента Operator от OpenAI удалась лишь в 5,36% попыток
Исследователи заставили Computer-Using Agent от OpenAI, на котором работает Operator, играть в Wordle на сайте New York Times. Агент решил лишь 5,36% попыток, в основном потому, что путал цвета плиток.
Что сделали
Исследователи направили Computer-Using Agent от OpenAI на игру Wordle на сайте New York Times. Агент управлял ей через обычный компьютерный интерфейс, так же, как это делал бы человек. Его гоняли на ежедневных головоломках Wordle в течение недели, всего несколько сотен прогонов, и следили за поведением, чтобы понять, где он ошибается.
Что получилось
Агент решил только 5,36% попыток. Главная проблема в том, что он непостоянно распознавал цвета плиток, и точность зависела от контекста.
Пояснение
Wordle это словесная головоломка, где за шесть попыток нужно угадать слово из пяти букв, а цвет плиток подсказывает, какие буквы угаданы и стоят ли они на своём месте. Computer-Using Agent это модель OpenAI, на которой работает Operator. Она управляет компьютером по снимкам экрана, мышью и клавиатурой.
Кому пригодится
Тем, кто доверяет агентам задачи, где нужно точно считывать с экрана цвета, значки или статусы.
Попробуйте сами с Operator
Открой [Wordle или другую словесную игру в браузере] и сыграй сегодняшнюю головоломку. После каждой попытки внимательно прочитай цвета плиток и скажи, что значит цвет каждой буквы, прежде чем выбирать следующее слово. Остановись, когда отгадаешь или кончатся попытки, и перечисли свои попытки и цвета, в которых ты сомневался.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: arxiv.org ·