Свой MCP-краулер документации для Claude, 60 страниц чистого Markdown за 49 секунд
Автор написал MCP-сервер pulpie-mcp, который превращает сайты документации в чистый Markdown для ИИ-агентов. Claude с его помощью обошёл сайт из 60 страниц за 49 секунд.
Сделано со своим агентом
Что сделали
Автор сделал pulpie-mcp, MCP-сервер с четырьмя инструментами (fetch, save, crawl и list). Он запускает локальную модель для извлечения текста, а бэкенд под ней стартует автоматически. Claude попросили обойти сайт документации из 60 страниц. Страницы он нашёл через robots.txt и карты сайта, работал в четыре параллельных потока и записывал Markdown-файлы с frontmatter на диск, а не возвращал их в контекстное окно.
Что получилось
Всё заняло около 49 секунд. Примерно 10 ушло на холодный старт бэкенда и 37 на обход и сохранение 60 страниц. На страницах, которые рендерятся на стороне клиента, инструмент не проверяли, они могут прийти пустыми. PDF не поддерживается.
На что обратить внимание
Модель распространяется по лицензии CC BY-NC 4.0, то есть только для некоммерческого использования. Проверяли её только на Linux с видеокартой NVIDIA, она занимает около 420 МБ видеопамяти.
Пояснение
Краулер это программа, которая сама обходит страницы сайта по ссылкам. Frontmatter это блок метаданных в начале Markdown-файла. Запись файлов на диск вместо ответа в чат бережёт контекстное окно агента.
Кому пригодится
Разработчикам, которые подкладывают своим агентам документацию библиотек и не хотят, чтобы она съедала контекст.
Попробуйте сами
Сделай краулер, который берёт сайт документации [адрес документации], идёт по его внутренним ссылкам и сохраняет каждую страницу чистым Markdown (без навигации и подвала) в папку docs-md, по файлу на страницу. Соблюдай robots.txt и не перегружай сайт запросами. Задача готова, когда ты обошёл весь сайт и сообщил мне, сколько страниц сохранено и какие не удалось скачать.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: dev.to ·