proxymix
Налаштування програм

Проксі для ScrapeBox: налаштування пакетів і резидентних

ScrapeBox може брати список із джерела харвестера або з файлу. Для довгих запусків найкраще підходить файл, який cron оновлює кожні 10 хвилин. Резидентні рядки завантажуються як host:port:login:password.

Два способи нагодувати ScrapeBox

ScrapeBox може збирати проксі з власного джерела або завантажувати їх з файлу. Харвестер підходить для коротких сесій: ви збираєте посилання ProxyMix, переносите результат у список проксі й запускаєте. Довгі прогони краще працюють з файлом, який планувальник переписує раз на 10 хвилин, а ви перезавантажуєте його, коли зростає частка помилок.

Для пакета додайте адресу комп'ютера зі ScrapeBox у список дозволених у панелі ProxyMix до першого збору.

Покроково

  1. Відкрийте Proxy Harvester і додайте посилання на список як власне джерело.
  2. Зберіть проксі й перенесіть результат у список проксі головного вікна.
  3. Позначте проксі як SOCKS у налаштуваннях проксі або використовуйте рядки як HTTP.
  4. Встановіть максимум з'єднань не вище за потоки пакета.
  5. Для прогонів довших за годину збирайте повторно раз на 10 хвилин або завантажуйте файл, який оновлює планувальник.

Файл, що лишається свіжим

Рядок crontab нижче завантажує список раз на 10 хвилин і замінює файл лише після повного завантаження. У Windows те саме завантаження з тією ж частотою запускає Планувальник завдань.

crontab
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txt

З'єднання й пошукові системи

ScrapeBox відкриває багато з'єднань на кожну пошукову систему, а пошукові системи швидко блокують. Тримайте кількість з'єднань на систему помірною, беріть більший список і дайте харвестеру розподіляти запити на більше адрес. Потоки пакета обмежують загальну суму на всі системи.

Пропускайте вбудований тест проксі після кожного збору. Пул видає робочі адреси, а тест тисяч рядків лише марнує потоки.

Поради

  • Багато проксі позначено як невдалі? Спершу зменште кількість з'єднань: зайві відхиляються й виглядають як мертві рядки.
  • Для Яндекса використовуйте пул СНД, для Google «Мікс світу».
  • Зберігайте зібрані списки з датою в назві файлу, щоб ніколи не завантажити застарілу копію.

Завдання ScrapeBox, яким пасує список

  • Збирати URL з видачі за списком ключових слів.
  • Перевіряти, які сторінки проіндексувала пошукова система.
  • Збирати підказки ключових слів і перевіряти беклінки.
  • Масово перевіряти коди відповідей для списків URL.

Усі вони надсилають багато коротких запитів. Що більше рядків у списку, то менше запитів припадає на кожну адресу.

Резидентні рядки в ScrapeBox

ScrapeBox читає проксі з логіном як host:port:login:password. У тому самому форматі їх видає панель, тож вставляйте рядки через буфер обміну як є. Використовуйте їх як HTTP-проксі: створюйте в панелі рядки HTTP і не ставте позначку SOCKS.

Ротаційний рядок «Країна» розподіляє запити харвестера між домашніми адресами, коли пошуковик блокує діапазони дата-центрів. Збір завантажує багато сторінок видачі, а резидентний трафік оплачується за гігабайт, тож масові збори дешевші на пакеті.

Перевірте до покупки

Після верифікації акаунта попросіть підтримку про безкоштовну годину й запустіть справжній збір. Ліміти потоків є на сторінці цін, а інструкція для curl показує той самий список у shell-скриптах.

Питання

Питання

Усі питання
Чому ScrapeBox показує багато невдалих проксі?

Зазвичай кількість з'єднань перевищує потоки пакета, і зайві з'єднання відхиляються.

Чи може ScrapeBox використовувати SOCKS5?

Так. Позначте проксі як SOCKS у налаштуваннях проксі або використовуйте їх як HTTP.

Чи потрібні ScrapeBox логіни до проксі?

Для рядків пакета ні: ProxyMix перевіряє IP вашої машини. Резидентні рядки містять логін і пароль у форматі host:port:login:password, і ScrapeBox читає їх саме так.

Готові спробувати?

Поповніть баланс, створіть список потрібного типу і країни та перевірте пул на своєму сайті. 1 ГБ на пробу коштує від $0,27, трафік живе три місяці.

Зібрати замовлення