proxymix
Настройка софта

Прокси для Netpeak Spider и Checker: настройка списка

Инструменты Netpeak принимают список прокси в настройках и чередуют их между запросами. Это помогает на больших аудитах и проверках выдачи. Резидентным строкам нужны IPv4-хост и логин.

Когда инструментам Netpeak нужны прокси

Netpeak Spider обходит сайты, а Netpeak Checker снимает выдачу и показатели для списков URL и ключевых слов. Аудит своего сайта редко требует прокси. Обход больших сайтов конкурентов и массовые проверки выдачи требуют: без прокси сайт или поисковик ограничивает ваш IP, и прогон замедляется или останавливается.

Оба инструмента принимают список прокси в настройках и чередуют строки между запросами. Для пакета сначала разрешите адрес своего компьютера в панели ProxyMix.

По шагам

  1. Скачайте список в файл или скопируйте его по ссылке.
  2. Откройте настройки прокси в Spider или Checker и загрузите список из файла или буфера обмена.
  3. Используйте строки как HTTP-прокси: Spider принимает список HTTP-прокси, а каждый порт пакета отвечает по HTTP.
  4. Задайте потоки в пределах лимита пакета.
  5. Запустите короткий пробный обход и посмотрите на долю ошибок.

Настройки Spider и Checker

Spider шлёт запросы на один сайт, поэтому скорость обхода зависит от того, сколько запросов этот сайт терпит с одного адреса. Повышайте потоки постепенно и следите за ответами 429 и 403. Checker раскладывает запросы по поисковикам и сервисам, и длинный список даёт ему больше всего.

Запросы через прокси идут дольше прямых. Немного увеличьте таймаут и добавьте потоков, чтобы сохранить темп.

Файл, который всегда свежий

Во вчерашней копии списка много мёртвых строк. Перезагружайте список перед каждым большим прогоном или держите файл, который планировщик перезаписывает раз в 10 минут:

crontab
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txt

Советы

  • Используйте один и тот же файл в Spider и Checker.
  • Для глобальных проверок выдачи берите «Микс мира», для локальной выдачи пул «Европа» или СНГ.
  • Для аудита своего сайта отключайте прокси, так обход проще.

Типичные задачи

  • Обход большого сайта конкурента без упора в лимит на один IP.
  • Проверка позиций и сниппетов по тысячам ключевых слов в Checker.
  • Сбор показателей для списков URL из поисковиков и сервисов.
  • Проверка того, как сайт отвечает посетителям из разных стран.

Резидентные строки в Netpeak

Spider принимает список строк host:port:login:password. Это тот же формат, что даёт панель, но хост должен быть IPv4-адресом. Выполните nslookup для хоста резидентной строки и подставьте IP на его место. Используйте HTTP-строки.

Строка «Страна» с выбранной страной показывает, как сайт отвечает посетителям из этой страны, а Checker может собирать выдачу через домашние адреса, когда поисковик блокирует подсети дата-центров. Обход скачивает страницы целиком, поэтому прикиньте объём в гигабайтах до большого запуска.

Сначала тест

После верификации попросите поддержку о бесплатном часе и обойдите настоящий сайт. Пакеты сравните на странице цен, а для своих краулеров загляните в инструкцию для Python.

Вопросы

Вопросы

Все вопросы
Spider и Checker берут один и тот же список?

Да, загрузите один файл в обе программы.

Почему с прокси часть проверок медленнее?

Каждый запрос идёт через ещё один сервер. Немного поднимите таймаут и добавьте потоков.

Работает ли Netpeak с SOCKS5?

Netpeak Spider принимает список HTTP-прокси. Каждый порт пакета отвечает по HTTP, а резидентные строки создавайте как HTTP.

Почему Netpeak не принимает резидентную строку?

В поле хоста нужен только IPv4-адрес. Замените имя хоста в строке на его IP из nslookup.

Готовы попробовать?

Пополните баланс, создайте список нужного типа и страны и проверьте пул на своём сайте. 1 ГБ на пробу стоит от $0,27, трафик живёт три месяца.

Собрать заказ