Когда инструментам Netpeak нужны прокси
Netpeak Spider обходит сайты, а Netpeak Checker снимает выдачу и показатели для списков URL и ключевых слов. Аудит своего сайта редко требует прокси. Обход больших сайтов конкурентов и массовые проверки выдачи требуют: без прокси сайт или поисковик ограничивает ваш IP, и прогон замедляется или останавливается.
Оба инструмента принимают список прокси в настройках и чередуют строки между запросами. Для пакета сначала разрешите адрес своего компьютера в панели ProxyMix.
По шагам
- Скачайте список в файл или скопируйте его по ссылке.
- Откройте настройки прокси в Spider или Checker и загрузите список из файла или буфера обмена.
- Используйте строки как HTTP-прокси: Spider принимает список HTTP-прокси, а каждый порт пакета отвечает по HTTP.
- Задайте потоки в пределах лимита пакета.
- Запустите короткий пробный обход и посмотрите на долю ошибок.
Настройки Spider и Checker
Spider шлёт запросы на один сайт, поэтому скорость обхода зависит от того, сколько запросов этот сайт терпит с одного адреса. Повышайте потоки постепенно и следите за ответами 429 и 403. Checker раскладывает запросы по поисковикам и сервисам, и длинный список даёт ему больше всего.
Запросы через прокси идут дольше прямых. Немного увеличьте таймаут и добавьте потоков, чтобы сохранить темп.
Файл, который всегда свежий
Во вчерашней копии списка много мёртвых строк. Перезагружайте список перед каждым большим прогоном или держите файл, который планировщик перезаписывает раз в 10 минут:
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtСоветы
- Используйте один и тот же файл в Spider и Checker.
- Для глобальных проверок выдачи берите «Микс мира», для локальной выдачи пул «Европа» или СНГ.
- Для аудита своего сайта отключайте прокси, так обход проще.
Типичные задачи
- Обход большого сайта конкурента без упора в лимит на один IP.
- Проверка позиций и сниппетов по тысячам ключевых слов в Checker.
- Сбор показателей для списков URL из поисковиков и сервисов.
- Проверка того, как сайт отвечает посетителям из разных стран.
Резидентные строки в Netpeak
Spider принимает список строк host:port:login:password. Это тот же формат, что даёт панель, но хост должен быть IPv4-адресом. Выполните nslookup для хоста резидентной строки и подставьте IP на его место. Используйте HTTP-строки.
Строка «Страна» с выбранной страной показывает, как сайт отвечает посетителям из этой страны, а Checker может собирать выдачу через домашние адреса, когда поисковик блокирует подсети дата-центров. Обход скачивает страницы целиком, поэтому прикиньте объём в гигабайтах до большого запуска.
Сначала тест
После верификации попросите поддержку о бесплатном часе и обойдите настоящий сайт. Пакеты сравните на странице цен, а для своих краулеров загляните в инструкцию для Python.