Чому A-Parser і посилання на список пасують одне одному
A-Parser завантажує проксі з URL і перезавантажує їх за таймером. Пакет ProxyMix саме такий: звичайне посилання повертає живу частину пулу рядками ip:port у простому тексті. Ви вставляєте посилання один раз, і кожне перезавантаження приносить свіжі адреси без файлів і ручного чищення.
Для пакета спершу додайте адресу вашого сервера з A-Parser у список дозволених у панелі ProxyMix. Проксі довіряють цій адресі, тому в списку немає логінів, і A-Parser підключається до кожного рядка напряму.
Покроково
- Відкрийте налаштування проксі-чекера та створіть пресет або відредагуйте стандартний.
- Додайте посилання на свій список ProxyMix як джерело проксі.
- Встановіть інтервал перезавантаження 10 хвилин.
- Оберіть тип проксі SOCKS5 або HTTP, якщо його потребує парсер.
- У кожному завданні виберіть цей пресет і задайте потоки так, щоб усі запущені завдання разом залишалися в межах ліміту пакета.
Назви пунктів меню змінюються між версіями A-Parser. Якщо крок у вашій версії виглядає інакше, шукайте налаштування проксі-чекера та список джерел проксі.
Потоки на кілька завдань
A-Parser рахує потоки в кожному завданні, а ProxyMix рахує відкриті з'єднання на пакет. Трьом завданням по 500 потоків потрібен пакет щонайменше на 1 500 потоків плюс запас. Понад ліміт проксі відхиляють зайві з'єднання, і A-Parser позначає робочі рядки як погані.
Діліть великі роботи на кілька завдань з меншою кількістю потоків. Навантаження лишається рівним, і одне завдання можна зупинити, не чіпаючи інших. Пакети на 2 000–5 000 потоків є на сторінці цін.
Парсери пошукових систем
Парсери Google, Яндекса та інших пошукових систем натрапляють на капчі раніше, ніж обхідники сайтів. Допомагає більший список: за тисяч рядків кожна адреса надсилає лише кілька запитів. Обирайте пул під пошукову систему: «Мікс світу» для Google, пул СНД для Яндекса, Європу для локальних доменів Google в ЄС.
Тримайте вбудовану перевірку проксі легкою. Пул уже прибирає мертві адреси, а важка перевірка перед кожним запуском лише затримує роботу.
Поради
- Стежте за часткою невдалих запитів у журналі завдання. Різкий стрибок зазвичай означає, що сума потоків перевищила ліміт.
- Якщо купили кілька пакетів, тримайте окремий пресет проксі-чекера для кожного пулу.
- Залиште перезавантаження на 10 хвилинах. Частіші запити сповільнюються й не приносять свіжіших рядків.
Як читати журнал завдання
A-Parser записує кожен невдалий запит у журнал завдання. Капча або 403 означають, що ціль помітила забагато запитів з однієї адреси: додайте рядків або зменште потоки. Тайм-аути вказують на повільні рядки, і повтор через інший проксі зазвичай їх виправляє. Якщо з'єднання відхиляє кожен рядок, панель знає іншу адресу: з'ясуйте, через яку ваш сервер відправляє вихідний трафік, і дозвольте її.
Резидентні рядки в A-Parser
Беріть резидентні проксі для цілей, що блокують діапазони дата-центрів, із рядком «Країна» потрібної країни. Ротаційний рядок отримує нову адресу на кожному новому з'єднанні, тож один рядок обслуговує всі потоки задачі.
- Створіть пресет перевірки проксі для резидентного рядка.
- Запишіть хост і порт рядка в список проксі як
host:port. - Увімкніть Use proxy authorization і заповніть Authorization login та Authorization password даними з рядка.
- Виберіть тип проксі, що відповідає рядку: HTTP або SOCKS5.
- Оберіть цей пресет у задачах, яким потрібні домашні адреси.
Кілька рядків із різними логінами вносьте в список як login:password@host:port, по одному в рядку, тоді достатньо самого Use proxy authorization. Резидентний трафік оплачується за гігабайт, тож важкі парсери, що завантажують сторінки повністю, залишайте на пакеті.
Перевірте до оплати
Попросіть підтримку про безкоштовний тест будь-якого пакета на годину й запустіть на ньому справжнє завдання A-Parser. Про оплату, паузи й частоту оновлення написано в питаннях, а про парсери на коді в інструкції для Python.