Поиск машины на сайтах объявлений через Meta Muse упёрся в блокировку ботов
Автор поста на Reddit искал машину через Meta Muse, но сайты, которые раньше работали, стали блокировать агента как бота. В комментариях посоветовали постоянный профиль браузера с входом в аккаунт и обычный темп действий.
Что сделали
Автор поручил Muse просматривать сайты с объявлениями о продаже машин. Со временем сайты, которые раньше работали, начали помечать агента как бота или блокировать. В комментариях один человек рассказал, что у него пока работает. Для каждого сайта он даёт агенту постоянный профиль браузера с входом в аккаунт и настоящими cookies и просит двигаться в обычном темпе. Новые headless-сессии, по его словам, быстро попадают под подозрение.
Что получилось
Агент был полезен для просмотра объявлений, пока как минимум Cars.com не начал его блокировать. В обсуждении есть идея обходного пути, но цифр и полностью надёжного решения нет.
На что обратить внимание
Главный вопрос в живучести. Новый headless-браузер могут пометить как бота уже через день, поэтому, судя по комментариям, важнее всего постоянный профиль и более медленный темп.
Пояснение
Cars.com это американский сайт объявлений о продаже машин. Headless-браузер работает без окна на экране. Им часто пользуются агенты и скрипты, и сайты научились распознавать такие сессии. Cookies это данные, по которым сайт узнаёт уже знакомого пользователя.
Кому пригодится
Тем, кто поручает агенту ходить по сайтам объявлений и сталкивается с тем, что сайты его блокируют.
Попробуйте сами с Meta Muse
Найди подержанную [марка, модель, годы выпуска] рядом с [город или почтовый индекс] на [сайты с машинами] в пределах [максимальная цена] и с пробегом меньше [пробег]. Используй постоянный профиль браузера с входом в аккаунт и кликай в темпе обычного человека, чтобы сайты тебя не блокировали. В конце дай короткий список из 5-8 объявлений с ценой, пробегом и ссылками. Не связывайся с продавцами и не отправляй формы, пока не покажешь мне.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: reddit.com ·