Запись своей работы и автоматизация повторяющихся задач со Screenpipe
Screenpipe в фоне записывает экран и звук на компьютере и даёт агентам память с поиском, чтобы те находили повторяющуюся работу и превращали её в инструкции. Это пост о запуске продукта, результатов использования в нём нет.
Сделано со своим агентом
Что сделали
Screenpipe работает в фоне и сохраняет скриншот вместе с деревом доступности ОС каждый раз, когда происходит что-то значимое, например переключение приложения, клик или пауза в наборе текста. Если нужно, он переходит на OCR, а звук расшифровывает локально. Всё попадает в локальный индекс SQLite с API на порту 3030 с авторизацией, плюс MCP и навыки. Затем агента просят найти повторяющуюся работу, описать её как регламент или автоматизировать.
Что получилось
Результатов и замеров таких автоматизаций в источнике нет, только примеры промптов. Заявлено, что локальные модели должны потреблять меньше 1% процессора и 400 МБ памяти. Это пост о запуске, а не разбор реального случая.
На что обратить внимание
Для коммерческого использования нужна платная лицензия, для личных, некоммерческих, учебных и исследовательских целей Screenpipe бесплатен. Попробовать можно командой npx screenpipe record без регистрации.
Пояснение
Дерево доступности (accessibility tree) это описание элементов интерфейса, которое операционная система отдаёт экранным чтецам. По нему агент понимает, какие кнопки и поля на экране, без распознавания картинки. Регламент (SOP) это пошаговая инструкция для повторяющейся задачи.
Кому пригодится
Тем, кто подозревает, что тратит часы на одни и те же действия за компьютером, и хочет их найти и автоматизировать.
Попробуйте сами
Я регулярно делаю одну и ту же задачу [опиши задачу и приложения]. Помоги записать её как понятную пошаговую процедуру, а потом сделай в [путь к папке] скрипт или файл с инструкцией, который её автоматизирует. Запусти его один раз на безопасном тестовом примере и останавливайся перед любым шагом, который что-то отправляет, подтверждает, оплачивает или удаляет.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: news.ycombinator.com ·