Почему A-Parser и ссылка на список подходят друг другу
A-Parser загружает прокси по ссылке и перезагружает их по таймеру. Пакет ProxyMix устроен именно так: обычная ссылка отдаёт живую часть пула строками ip:port. Вы вставляете ссылку один раз, и каждая перезагрузка приносит свежие адреса без файлов и ручной чистки.
Для пакета сначала внесите адрес сервера с A-Parser в список разрешённых в панели ProxyMix. Доступ идёт по этому IP, поэтому в списке нет логинов, и A-Parser подключается к каждой строке напрямую.
По шагам
- Откройте настройки прокси-чекера и создайте пресет или отредактируйте стандартный.
- Добавьте ссылку на список ProxyMix как источник прокси.
- Поставьте интервал перезагрузки 10 минут.
- Выберите тип прокси SOCKS5 или HTTP, если его требует парсер.
- В каждом задании выберите этот пресет и задайте потоки так, чтобы все запущенные задания вместе укладывались в лимит пакета.
Названия пунктов меню в разных версиях A-Parser отличаются. Если шаг у вас выглядит иначе, ищите настройки прокси-чекера и список источников прокси.
Потоки в нескольких заданиях
A-Parser считает потоки по заданиям, а ProxyMix считает открытые соединения по пакету. Трём заданиям по 500 потоков нужен пакет минимум на 1 500 потоков и запас сверху. Сверх лимита прокси отклоняют лишние соединения, и A-Parser помечает рабочие строки как плохие.
Делите большие задачи на несколько заданий с меньшим числом потоков. Нагрузка остаётся ровной, а одно задание можно остановить, не трогая остальные. Пакеты на 2 000–5 000 потоков есть на странице цен.
Парсеры поисковиков
Парсеры Google, Яндекса и других поисковиков упираются в капчу раньше, чем краулеры сайтов. Помогает список побольше: при тысячах строк каждый адрес отправляет лишь несколько запросов. Пул выбирайте по поисковику: «Микс мира» для Google, пул СНГ для Яндекса, «Европа» для локальных доменов Google в ЕС.
Встроенную проверку прокси держите лёгкой. Пул и так убирает мёртвые адреса, а тяжёлая проверка перед каждым запуском только задерживает работу.
Советы
- Следите за долей неудачных запросов в логе задания. Резкий рост обычно значит, что сумма потоков вышла за лимит.
- Если купили пакеты в нескольких пулах, заведите отдельный пресет прокси-чекера на каждый.
- Оставляйте перезагрузку раз в 10 минут. Более частую мы притормаживаем, и свежее строки от неё не станут.
Как читать лог задания
A-Parser пишет каждый неудачный запрос в лог задания. Капча или ответ 403 значат, что сайт заметил слишком много запросов с одного адреса: добавьте строк или уменьшите потоки. Таймауты указывают на медленные строки, и повтор через другой прокси обычно помогает. Если отказ идёт на каждой строке, в панели разрешён другой адрес: найдите тот, с которого сервер выходит в сеть, и разрешите его.
Резидентные строки в A-Parser
Резидентные прокси берите для сайтов, которые режут подсети дата-центров: строку «Страна» с нужной страной. Ротационная строка получает новый адрес на каждом новом соединении, так что одна строка обслуживает все потоки задания.
- Создайте отдельный пресет прокси-чекера для резидентной строки.
- Впишите хост и порт строки в список прокси в виде
host:port. - Включите Use proxy authorization и заполните Authorization login и Authorization password данными из строки.
- Выберите тип прокси под строку: HTTP или SOCKS5.
- Укажите этот пресет в заданиях, которым нужны домашние адреса.
Несколько строк с разными логинами пишутся в список как login:password@host:port, по одной в строке, и тогда достаточно включить только Use proxy authorization. Резидентный трафик оплачивается за гигабайты, поэтому тяжёлые парсеры, которые качают страницы целиком, оставляйте на пакете.
Проверьте до оплаты
После верификации попросите поддержку о бесплатном тесте любого пакета на час и запустите на нём настоящее задание A-Parser. Оплата, паузы и частота обновления разобраны в FAQ, а парсеры на коде в инструкции для Python.