Заполнение форм по картинке с агентом на Gemini
Автор поста на Reddit собрал для друга агента на Gemini. Тот находит поля на изображении формы и сопоставляет их с областями для ответов. Цифр по точности и скорости автор не приводит.
Что сделали
Друг автора хотел автоматически заполнять формы в формате JPEG и PNG. Автор взял свои прежние наработки с OmniParser и собрал размеченный датасет из форм IRS и OPM с чётко обозначенными полями. Gemini находил поля в документе и сопоставлял их с ограничивающими рамками (bounding boxes). По словам автора, то же самое можно было сделать связкой GPT-4o и YOLO.
Что получилось
Автор подаёт это как рабочий способ автоматизировать нудное заполнение форм, особенно в цепочках поставок с большим количеством ручной работы. Цифр по точности и скорости, как и примеров сбоев, в тексте обсуждения нет.
На что обратить внимание
Главная хитрость в подготовке. Сначала автор собрал собственный размеченный датасет из настоящих форм и не полагался только на промпты.
Пояснение
IRS это налоговая служба США, OPM это кадровое ведомство федеральных служащих США. Их формы здесь просто образцы с чётко размеченными полями. OmniParser это инструмент Microsoft для разбора скриншота на элементы интерфейса, YOLO это модель для поиска объектов на изображении.
Кому пригодится
Тем, кто вручную переносит данные в сканы и фото бланков и хочет это автоматизировать.
Попробуйте сами с Gemini
Сделай небольшой инструмент. Он берёт изображение формы из [путь к файлу], находит каждое пустое поле и его подпись и рисует рамки там, где должны стоять ответы. Потом заполни поля данными из [файл с моими данными] и сохрани заполненную форму новым изображением в [путь для результата]. Покажи мне результат на проверку, прежде чем считать задачу выполненной, и остановись, когда заполненная форма совпадёт со всеми полями.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: reddit.com ·