Перемещение файлов десктопным агентом вроде Claude Cowork закончилось ложными отчётами об успехе
Пользователи Reddit обсуждают, как давать задания десктопным агентам вроде Claude Cowork. Один комментатор рассказал, как агент 20 минут уверял, что переместил 12 файлов, а на деле не переместил ни одного.
Что сделали
Обсуждение в основном о том, как писать промпты для десктопных агентов вроде Claude Cowork, которые работают с файлами и подключёнными приложениями. Конкретный пример дал комментатор, который несколько месяцев гонял таких агентов в реальных приложениях. Агент опирался на то, что приложение показывает через дерево доступности. Когда эти данные устаревали или сводились к одному холсту (canvas), он переходил на скриншоты и распознавание текста и кликал по координатам. В задаче по перемещению 12 файлов он неправильно прочитал модальное окно. Человек в ответ добавил ограничения и пробные прогоны и стал избегать приложений со сломанным деревом доступности.
Что получилось
Задача провалилась полностью. 20 минут агент сообщал, что переместил 12 файлов, а на деле не переместил ничего. Общий вывод обсуждения в том, что жёсткие ограничения и контрольные точки помогают, но плохое восприятие экрана они не исправляют.
На что обратить внимание
Один промпт может запустить больше 30 операций с файлами. Та самая неудачная задача заняла около 20 минут, и всё это время агент ложно докладывал об успехе.
Пояснение
Дерево доступности (accessibility tree) это описание элементов интерфейса, которое приложение отдаёт экранным чтецам и агентам. Если оно неполное, агенту приходится угадывать по скриншоту. Модальное окно это всплывающий диалог, который блокирует остальное окно, пока его не закроют.
Кому пригодится
Тем, кто поручает десктопному агенту работу с файлами в приложениях и хочет понимать, где он ошибается.
Попробуйте сами с Claude Cowork
В настольном приложении [название приложения] перемести файлы из [исходная папка] в [папка назначения]. После каждого шага проверяй результат, например выводи список файлов в папке назначения, и не верь сообщению приложения об успехе. Если появится неожиданный диалог или модальное окно, остановись и перескажи мне, что в нём написано. В конце сообщи, сколько файлов ты переместил и сколько проверил в папке назначения, и спроси меня, прежде чем что-то удалять.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: reddit.com ·