proxymix
Налаштування програм

Проксі для A-Parser: налаштування пакетів і резидентних

A-Parser бере проксі за URL і перезавантажує їх за таймером, тому працює з посиланням на список ProxyMix напряму, без файлів. Резидентні рядки підключаються з логіном у налаштуваннях перевірки проксі.

Чому A-Parser і посилання на список пасують одне одному

A-Parser завантажує проксі з URL і перезавантажує їх за таймером. Пакет ProxyMix саме такий: звичайне посилання повертає живу частину пулу рядками ip:port у простому тексті. Ви вставляєте посилання один раз, і кожне перезавантаження приносить свіжі адреси без файлів і ручного чищення.

Для пакета спершу додайте адресу вашого сервера з A-Parser у список дозволених у панелі ProxyMix. Проксі довіряють цій адресі, тому в списку немає логінів, і A-Parser підключається до кожного рядка напряму.

Покроково

  1. Відкрийте налаштування проксі-чекера та створіть пресет або відредагуйте стандартний.
  2. Додайте посилання на свій список ProxyMix як джерело проксі.
  3. Встановіть інтервал перезавантаження 10 хвилин.
  4. Оберіть тип проксі SOCKS5 або HTTP, якщо його потребує парсер.
  5. У кожному завданні виберіть цей пресет і задайте потоки так, щоб усі запущені завдання разом залишалися в межах ліміту пакета.

Назви пунктів меню змінюються між версіями A-Parser. Якщо крок у вашій версії виглядає інакше, шукайте налаштування проксі-чекера та список джерел проксі.

Потоки на кілька завдань

A-Parser рахує потоки в кожному завданні, а ProxyMix рахує відкриті з'єднання на пакет. Трьом завданням по 500 потоків потрібен пакет щонайменше на 1 500 потоків плюс запас. Понад ліміт проксі відхиляють зайві з'єднання, і A-Parser позначає робочі рядки як погані.

Діліть великі роботи на кілька завдань з меншою кількістю потоків. Навантаження лишається рівним, і одне завдання можна зупинити, не чіпаючи інших. Пакети на 2 000–5 000 потоків є на сторінці цін.

Парсери пошукових систем

Парсери Google, Яндекса та інших пошукових систем натрапляють на капчі раніше, ніж обхідники сайтів. Допомагає більший список: за тисяч рядків кожна адреса надсилає лише кілька запитів. Обирайте пул під пошукову систему: «Мікс світу» для Google, пул СНД для Яндекса, Європу для локальних доменів Google в ЄС.

Тримайте вбудовану перевірку проксі легкою. Пул уже прибирає мертві адреси, а важка перевірка перед кожним запуском лише затримує роботу.

Поради

  • Стежте за часткою невдалих запитів у журналі завдання. Різкий стрибок зазвичай означає, що сума потоків перевищила ліміт.
  • Якщо купили кілька пакетів, тримайте окремий пресет проксі-чекера для кожного пулу.
  • Залиште перезавантаження на 10 хвилинах. Частіші запити сповільнюються й не приносять свіжіших рядків.

Як читати журнал завдання

A-Parser записує кожен невдалий запит у журнал завдання. Капча або 403 означають, що ціль помітила забагато запитів з однієї адреси: додайте рядків або зменште потоки. Тайм-аути вказують на повільні рядки, і повтор через інший проксі зазвичай їх виправляє. Якщо з'єднання відхиляє кожен рядок, панель знає іншу адресу: з'ясуйте, через яку ваш сервер відправляє вихідний трафік, і дозвольте її.

Резидентні рядки в A-Parser

Беріть резидентні проксі для цілей, що блокують діапазони дата-центрів, із рядком «Країна» потрібної країни. Ротаційний рядок отримує нову адресу на кожному новому з'єднанні, тож один рядок обслуговує всі потоки задачі.

  1. Створіть пресет перевірки проксі для резидентного рядка.
  2. Запишіть хост і порт рядка в список проксі як host:port.
  3. Увімкніть Use proxy authorization і заповніть Authorization login та Authorization password даними з рядка.
  4. Виберіть тип проксі, що відповідає рядку: HTTP або SOCKS5.
  5. Оберіть цей пресет у задачах, яким потрібні домашні адреси.

Кілька рядків із різними логінами вносьте в список як login:password@host:port, по одному в рядку, тоді достатньо самого Use proxy authorization. Резидентний трафік оплачується за гігабайт, тож важкі парсери, що завантажують сторінки повністю, залишайте на пакеті.

Перевірте до оплати

Попросіть підтримку про безкоштовний тест будь-якого пакета на годину й запустіть на ньому справжнє завдання A-Parser. Про оплату, паузи й частоту оновлення написано в питаннях, а про парсери на коді в інструкції для Python.

Питання

Питання

Усі питання
Чи потрібно перевіряти проксі в A-Parser?

Пул уже прибирає мертві адреси. Легка перевірка не завадить, а важка лише сповільнить старт.

Скільки потоків можна запускати?

Стільки, скільки дозволяє пакет сумарно на всі завдання, від 300 до 5 000.

Чи може A-Parser брати рядки SOCKS5?

Так. Кожен порт підтримує SOCKS5 і HTTP, тож тип обирайте в налаштуваннях проксі-чекера.

Чи працює A-Parser із резидентними проксі?

Так. Або host:port у списку, а логін і пароль у перевірці проксі з увімкненим Use proxy authorization, або рядки у форматі login:password@host:port.

Готові спробувати?

Поповніть баланс, створіть список потрібного типу і країни та перевірте пул на своєму сайті. 1 ГБ на пробу коштує від $0,27, трафік живе три місяці.

Зібрати замовлення