proxymix
Настройка софта

Прокси для A-Parser: настройка пакетов и резидентных

A-Parser берёт прокси по ссылке и перезагружает их по таймеру, поэтому работает со ссылкой на список ProxyMix напрямую, без файлов. Резидентные строки подключаются с логином в настройках прокси-чекера.

Почему A-Parser и ссылка на список подходят друг другу

A-Parser загружает прокси по ссылке и перезагружает их по таймеру. Пакет ProxyMix устроен именно так: обычная ссылка отдаёт живую часть пула строками ip:port. Вы вставляете ссылку один раз, и каждая перезагрузка приносит свежие адреса без файлов и ручной чистки.

Для пакета сначала внесите адрес сервера с A-Parser в список разрешённых в панели ProxyMix. Доступ идёт по этому IP, поэтому в списке нет логинов, и A-Parser подключается к каждой строке напрямую.

По шагам

  1. Откройте настройки прокси-чекера и создайте пресет или отредактируйте стандартный.
  2. Добавьте ссылку на список ProxyMix как источник прокси.
  3. Поставьте интервал перезагрузки 10 минут.
  4. Выберите тип прокси SOCKS5 или HTTP, если его требует парсер.
  5. В каждом задании выберите этот пресет и задайте потоки так, чтобы все запущенные задания вместе укладывались в лимит пакета.

Названия пунктов меню в разных версиях A-Parser отличаются. Если шаг у вас выглядит иначе, ищите настройки прокси-чекера и список источников прокси.

Потоки в нескольких заданиях

A-Parser считает потоки по заданиям, а ProxyMix считает открытые соединения по пакету. Трём заданиям по 500 потоков нужен пакет минимум на 1 500 потоков и запас сверху. Сверх лимита прокси отклоняют лишние соединения, и A-Parser помечает рабочие строки как плохие.

Делите большие задачи на несколько заданий с меньшим числом потоков. Нагрузка остаётся ровной, а одно задание можно остановить, не трогая остальные. Пакеты на 2 000–5 000 потоков есть на странице цен.

Парсеры поисковиков

Парсеры Google, Яндекса и других поисковиков упираются в капчу раньше, чем краулеры сайтов. Помогает список побольше: при тысячах строк каждый адрес отправляет лишь несколько запросов. Пул выбирайте по поисковику: «Микс мира» для Google, пул СНГ для Яндекса, «Европа» для локальных доменов Google в ЕС.

Встроенную проверку прокси держите лёгкой. Пул и так убирает мёртвые адреса, а тяжёлая проверка перед каждым запуском только задерживает работу.

Советы

  • Следите за долей неудачных запросов в логе задания. Резкий рост обычно значит, что сумма потоков вышла за лимит.
  • Если купили пакеты в нескольких пулах, заведите отдельный пресет прокси-чекера на каждый.
  • Оставляйте перезагрузку раз в 10 минут. Более частую мы притормаживаем, и свежее строки от неё не станут.

Как читать лог задания

A-Parser пишет каждый неудачный запрос в лог задания. Капча или ответ 403 значат, что сайт заметил слишком много запросов с одного адреса: добавьте строк или уменьшите потоки. Таймауты указывают на медленные строки, и повтор через другой прокси обычно помогает. Если отказ идёт на каждой строке, в панели разрешён другой адрес: найдите тот, с которого сервер выходит в сеть, и разрешите его.

Резидентные строки в A-Parser

Резидентные прокси берите для сайтов, которые режут подсети дата-центров: строку «Страна» с нужной страной. Ротационная строка получает новый адрес на каждом новом соединении, так что одна строка обслуживает все потоки задания.

  1. Создайте отдельный пресет прокси-чекера для резидентной строки.
  2. Впишите хост и порт строки в список прокси в виде host:port.
  3. Включите Use proxy authorization и заполните Authorization login и Authorization password данными из строки.
  4. Выберите тип прокси под строку: HTTP или SOCKS5.
  5. Укажите этот пресет в заданиях, которым нужны домашние адреса.

Несколько строк с разными логинами пишутся в список как login:password@host:port, по одной в строке, и тогда достаточно включить только Use proxy authorization. Резидентный трафик оплачивается за гигабайты, поэтому тяжёлые парсеры, которые качают страницы целиком, оставляйте на пакете.

Проверьте до оплаты

После верификации попросите поддержку о бесплатном тесте любого пакета на час и запустите на нём настоящее задание A-Parser. Оплата, паузы и частота обновления разобраны в FAQ, а парсеры на коде в инструкции для Python.

Вопросы

Вопросы

Все вопросы
Нужно ли проверять прокси в A-Parser?

Пул и так убирает мёртвые адреса. Лёгкая проверка не помешает, а тяжёлая только замедлит старт.

Сколько потоков можно запускать?

Столько, сколько позволяет пакет в сумме по всем заданиям, от 300 до 5 000.

Может ли A-Parser работать со строками по SOCKS5?

Да. Каждый порт понимает SOCKS5 и HTTP, тип выберите в настройках прокси-чекера.

Работает ли A-Parser с резидентными прокси?

Да. Либо host:port в списке и логин с паролем в настройках прокси-чекера с включённым Use proxy authorization, либо строки вида login:password@host:port.

Готовы попробовать?

Пополните баланс, создайте список нужного типа и страны и проверьте пул на своём сайте. 1 ГБ на пробу стоит от $0,27, трафик живёт три месяца.

Собрать заказ