Сортировка мусора по местным правилам переработки с Gemini Robotics-ER 1.5
Google описывает, как Gemini Robotics-ER 1.5 в роли мозга робота находит местные правила переработки и раскладывает предметы по бакам для компоста, вторсырья и мусора. Показан только анимированный план, без результатов на реальном роботе.
Что сделали
В посте Google это подано как пример использования модели в роли верхнего уровня рассуждений робота. Модель должна через Google Search найти местные правила переработки, распознать предметы в кадре и спланировать сортировку. Затем она вызывает модель vision-language-action или функции, заданные пользователем, чтобы переложить предметы. В показанном демо модель просят объяснить сортировку и указать на каждый предмет.
Что получилось
В посте есть только анимация пространственного плана сортировки, где текст чередуется с точками на изображении. Данных о том, как часто сортировка удаётся целиком, нет. Модель пока в режиме preview.
На что обратить внимание
Защитные фильтры на уровне модели не заменяют настоящую инженерию безопасности робота. По словам авторов поста, разработчикам всё равно нужны аварийная остановка, защита от столкновений и оценка рисков.
Пояснение
Модель vision-language-action (VLA) переводит изображение и текстовую команду в движения робота. Здесь Gemini Robotics-ER 1.5 решает, что и куда класть, а VLA-модель физически двигает предметы.
Кому пригодится
Разработчикам роботов и исследователям, которые разделяют планирование и управление движением между разными моделями.
Попробуйте сами с Gemini
Напиши программу, которая берёт фото предметов из [папка с изображениями] и относит каждый к компосту, вторсырью или обычному мусору. Найди в интернете правила для [мой город или служба вывоза мусора] и для каждого правила укажи страницу-источник. Выведи таблицу с предметом, баком и причиной и отметь предметы, в которых не уверен. Остановись, когда рассортированы все предметы на фото.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: developers.googleblog.com ·