proxymix
Настройка софта

Прокси для Key Collector: настройка пакетов и ротации

Key Collector читает прокси из файла или буфера обмена. Держите файл, который cron обновляет раз в 10 минут, и импортируйте его перед каждой долгой сессией. Резидентные строки вносятся в таблицу прокси как HTTP-прокси с логином.

Как Key Collector использует прокси

Key Collector отправляет много запросов в сервисы Яндекса и поисковики: Wordstat, поисковые подсказки, выдачу для оценки конкуренции. Один IP упирается в лимиты за несколько минут, поэтому программа раскладывает запросы по списку прокси. Список она читает из файла или буфера обмена, и ссылке ProxyMix нужен ещё один шаг: загрузка в файл по расписанию.

Для пакета панель ProxyMix должна знать адрес компьютера с Key Collector. Доступ идёт по IP, и в списке нет логинов.

По шагам

  1. Настройте загрузку списка в файл по расписанию: строкой crontab ниже или планировщиком заданий в Windows.
  2. Откройте сетевые настройки Key Collector и включите использование прокси.
  3. Импортируйте файл со списком.
  4. Задайте потоки сбора в пределах лимита пакета.
  5. Перед каждой долгой сессией сбора импортируйте файл заново.

Файл, который всегда свежий

На сервере или Mac эта строка crontab перезаписывает файл раз в 10 минут. В Windows ту же загрузку по тому же расписанию запускает планировщик заданий.

crontab
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txt

Какой пул для Яндекса и Google

Яндекс показывает выдачу и данные Wordstat по региону и строже относится к иностранным адресам. Пул СНГ даёт адреса из России, Казахстана, Беларуси и соседних стран, и для сбора в Яндексе это лучший выбор. Для семантики в Google берите «Микс мира», для европейских рынков «Европу». Цены каждого пула есть на странице цен.

Советы

  • Собирайте несколькими короткими сессиями и обновляйте файл между ними.
  • Если доля ошибок растёт, уменьшите потоки: Яндекс реагирует и на всплески запросов с многих адресов сразу.
  • Если работаете с несколькими регионами, держите отдельный файл на каждый пул.

Wordstat, подсказки и выдача

Сбор из Wordstat сильнее всего нагружает сервисы Яндекса, поэтому давайте ему меньше всего потоков и самые длинные паузы. Поисковые подсказки требуют лёгких запросов и хорошо работают на большем числе потоков. Оценка конкуренции запрашивает полные страницы выдачи и реагирует на всплески, поэтому поднимайте потоки постепенно и следите за логом ошибок.

Резидентные строки в Key Collector

Key Collector работает через HTTP-прокси и хранит логин и пароль в отдельных колонках таблицы прокси в сетевых настройках. Добавьте туда резидентную HTTP-строку: адрес, порт, логин и пароль.

Колонка адреса ждёт IP. Если строка начинается с имени хоста, выполните для него nslookup и подставьте полученный адрес. Для Яндекса берите строку «Страна» со страной Россия. Сбор шлёт много мелких запросов, поэтому в первой сессии следите за расходом трафика в панели.

Бесплатный тест

После верификации попросите поддержку о бесплатном часе пакета СНГ и запустите небольшой сбор. Оплата, паузы и правила обновления разобраны в FAQ.

Вопросы

Вопросы

Все вопросы
Key Collector умеет брать список по ссылке?

Он работает с файлами и буфером обмена, поэтому держите свежий файл с помощью строки cron.

Какой пул подходит для Яндекса?

Пул СНГ: его адреса из региона, на который работает Яндекс.

Как часто импортировать файл заново?

Перед каждой долгой сессией. Сам файл обновляется раз в 10 минут, если настроена загрузка по расписанию.

Можно ли использовать в Key Collector резидентные прокси?

Да, как HTTP-прокси с логином: заполните колонки адреса, порта, логина и пароля. В колонку адреса нужен IP, так что имя хоста сначала переведите в адрес.

Готовы попробовать?

Пополните баланс, создайте список нужного типа и страны и проверьте пул на своём сайте. 1 ГБ на пробу стоит от $0,27, трафик живёт три месяца.

Собрать заказ