Проверка доступа ИИ-краулеров к сайтам клининговых компаний агентом с MCP-инструментами
Авторы блога openkrill с помощью агента и двух MCP-инструментов Site Check проверили 18 сайтов клининговых компаний на доступ для 14 ИИ-краулеров. Ответили только 9 сайтов, и лишь у двух из них есть все 8 проверяемых тегов.
Сделано со своим агентом
Что сделали
Авторы взяли из списка Tranco top-1M домены со словом «cleaning» в названии и отобрали из них 18 сервисных компаний. Для каждого сайта агент вызвал два инструмента Site Check. Первый читал robots.txt, заголовки и редиректы для 14 названных ИИ-краулеров. Второй проверял 8 тегов на странице. Сайты отбирали и фильтровали вручную по заголовкам страниц.
Что получилось
Главную страницу вернули 9 из 18 сайтов. Из этих девяти один блокирует 12 из 14 краулеров, у 7 нет картинки для превью при репосте, и только у 2 есть все 8 тегов. Остальные 9 сайтов ответили ошибкой 403, ошибкой CDN или не ответили вовсе.
На что обратить внимание
Отказ или сбой при загрузке не показывает, что на самом деле получают ИИ-боты. Правила файрвола или CDN могут блокировать ботов, которых robots.txt пускает. Поэтому девять сайтов стоит считать срезом, а не исследованием рынка.
Пояснение
ИИ-краулеры это боты, которыми OpenAI, Anthropic, Perplexity и другие собирают страницы для моделей и поиска. В файле robots.txt владелец сайта указывает, каким ботам можно его обходить. Tranco это публичный рейтинг популярных доменов.
Кому пригодится
Владельцам сайтов малого бизнеса и SEO-специалистам, которые хотят понять, видят ли их сайт ИИ-поисковики.
Попробуйте сами
Вот список из [число] сайтов компаний [список доменов]. Для каждого загрузи robots.txt и напиши, разрешает он или блокирует основных ИИ-краулеров, например GPTBot, ClaudeBot, PerplexityBot и Google-Extended. Ещё проверь на главной странице meta-теги, которые влияют на доступ ИИ и поисковиков, и отметь сайты, которые вместо настоящего robots.txt отдают главную страницу. В конце дай одну таблицу с результатами и короткий список самых серьёзных пробелов.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: tools.openkrill.app ·