Управление роботом Spot в многошаговых задачах через Gemini Robotics ER 2
Google DeepMind показала, как Gemini Robotics ER 2 управляет роботом Spot от Boston Dynamics и по видео проверяет, что шаг выполнен, прежде чем перейти к следующему. В опубликованном демо робот приносит предметы по голосовой команде.
Что сделали
Разработчики описывают низкоуровневое управление как инструменты, например API навигации и манипулятора робота Spot. Через Gemini Live API они передают в Gemini Robotics ER 2 видео, звук или текст. Модель выстраивает последовательность шагов. По видео она следит за ходом работы и убеждается, что задача выполнена. Потом переходит к следующей. В опубликованном демо Spot по голосовой команде приносит предметы, например пачку попкорна.
Что получилось
В классификации прогресса, где каждый кадр видео относят к одной из пяти стадий выполнения, модель показала точность 57,4%. В поиске нужного момента в видео точность составила 91,3% при среднем абсолютном отклонении 0,96 секунды. Доли успешных попыток Spot завязать мешок для мусора в посте нет.
На что обратить внимание
Код демо со Spot выложен на GitHub, а модель доступна в превью через Gemini API и Google AI Studio.
Пояснение
Spot это четвероногий робот компании Boston Dynamics, к которому можно подключить манипулятор. ER в названии модели означает embodied reasoning, то есть рассуждения для роботов, действующих в физическом мире.
Кому пригодится
Робототехникам и исследователям, которые хотят дать роботу план из нескольких шагов с проверкой каждого по камере.
Попробуйте сами с Gemini
Напиши программу на Python, которая разбивает задачу [многошаговая задача, например убрать верстак] на шаги для моего робота или симулятора [название робота или симулятора]. После каждого шага программа должна проверять по кадру или видео из [источник], что шаг выполнен, и только потом переходить к следующему. Покажи мне план и код до запуска на реальном железе. Остановись, когда программа пройдёт все шаги в симуляции.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: blog.google ·