Два способи нагодувати ScrapeBox
ScrapeBox може збирати проксі з власного джерела або завантажувати їх з файлу. Харвестер підходить для коротких сесій: ви збираєте посилання ProxyMix, переносите результат у список проксі й запускаєте. Довгі прогони краще працюють з файлом, який планувальник переписує раз на 10 хвилин, а ви перезавантажуєте його, коли зростає частка помилок.
Для пакета додайте адресу комп'ютера зі ScrapeBox у список дозволених у панелі ProxyMix до першого збору.
Покроково
- Відкрийте Proxy Harvester і додайте посилання на список як власне джерело.
- Зберіть проксі й перенесіть результат у список проксі головного вікна.
- Позначте проксі як SOCKS у налаштуваннях проксі або використовуйте рядки як HTTP.
- Встановіть максимум з'єднань не вище за потоки пакета.
- Для прогонів довших за годину збирайте повторно раз на 10 хвилин або завантажуйте файл, який оновлює планувальник.
Файл, що лишається свіжим
Рядок crontab нижче завантажує список раз на 10 хвилин і замінює файл лише після повного завантаження. У Windows те саме завантаження з тією ж частотою запускає Планувальник завдань.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtЗ'єднання й пошукові системи
ScrapeBox відкриває багато з'єднань на кожну пошукову систему, а пошукові системи швидко блокують. Тримайте кількість з'єднань на систему помірною, беріть більший список і дайте харвестеру розподіляти запити на більше адрес. Потоки пакета обмежують загальну суму на всі системи.
Пропускайте вбудований тест проксі після кожного збору. Пул видає робочі адреси, а тест тисяч рядків лише марнує потоки.
Поради
- Багато проксі позначено як невдалі? Спершу зменште кількість з'єднань: зайві відхиляються й виглядають як мертві рядки.
- Для Яндекса використовуйте пул СНД, для Google «Мікс світу».
- Зберігайте зібрані списки з датою в назві файлу, щоб ніколи не завантажити застарілу копію.
Завдання ScrapeBox, яким пасує список
- Збирати URL з видачі за списком ключових слів.
- Перевіряти, які сторінки проіндексувала пошукова система.
- Збирати підказки ключових слів і перевіряти беклінки.
- Масово перевіряти коди відповідей для списків URL.
Усі вони надсилають багато коротких запитів. Що більше рядків у списку, то менше запитів припадає на кожну адресу.
Резидентні рядки в ScrapeBox
ScrapeBox читає проксі з логіном як host:port:login:password. У тому самому форматі їх видає панель, тож вставляйте рядки через буфер обміну як є. Використовуйте їх як HTTP-проксі: створюйте в панелі рядки HTTP і не ставте позначку SOCKS.
Ротаційний рядок «Країна» розподіляє запити харвестера між домашніми адресами, коли пошуковик блокує діапазони дата-центрів. Збір завантажує багато сторінок видачі, а резидентний трафік оплачується за гігабайт, тож масові збори дешевші на пакеті.
Перевірте до покупки
Після верифікації акаунта попросіть підтримку про безкоштовну годину й запустіть справжній збір. Ліміти потоків є на сторінці цін, а інструкція для curl показує той самий список у shell-скриптах.