Управление роботами кодом и голосом через Gemini 2.5
Google показала, как Gemini 2.5 сам пишет код для API робота, а робот ALOHA по 10 примерам в контексте упаковывает коробки и складывает платье. Голосовые команды через Live API тоже превращаются в план действий робота.
Что сделали
Gemini 2.5 дали API для управления роботом (найти объект, получить позу захвата, двигать, открыть и закрыть захват). Без единого примера (zero-shot) модель писала планы на Python, например как положить банан в миску. Для упаковки коробок и складывания платья роботом ALOHA в контекст добавили 10 демонстраций, где рассуждения чередуются с действиями. Для голосового управления те же вызовы API описали как инструменты function calling в Live API и передавали в модель поток с камеры.
Что получилось
Gemini предложил два выполнимых плана с бананом, и в одном из них учёл, что правая рука не дотягивается, и перестроил план. ALOHA по примерам из контекста упаковал коробки и сложил платье. Доли успешных попыток в посте нет.
На что обратить внимание
Настройка ALOHA выложена в открытый Colab с примерами демонстраций. Голосовая консоль Live API лежит на GitHub, а доступ к Gemini Robotics-ER дают через лист ожидания для доверенных тестировщиков.
Пояснение
ALOHA это двурукий робот-манипулятор, который используют в исследованиях. Zero-shot значит, что модель решает задачу без примеров. Live API это интерфейс Gemini для общения голосом и видео в реальном времени.
Кому пригодится
Исследователям и инженерам робототехники, которые хотят попробовать языковую модель в роли планировщика действий робота.
Попробуйте сами с Gemini
Помоги собрать контроллер симулированной роборуки на [симулятор или язык]. Через модель компьютерного зрения находи объекты на [изображение или поток с камеры], потом напиши код, который вызывает API моего робота [описание API], чтобы [задача, например упаковать предметы в коробку]. Запускай только в симуляции и покажи сгенерированный код до любого запуска на реальном железе. Остановись, когда задача трижды подряд получится в симуляции.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: developers.googleblog.com ·