Как Key Collector использует прокси
Key Collector отправляет много запросов в сервисы Яндекса и поисковики: Wordstat, поисковые подсказки, выдачу для оценки конкуренции. Один IP упирается в лимиты за несколько минут, поэтому программа раскладывает запросы по списку прокси. Список она читает из файла или буфера обмена, и ссылке ProxyMix нужен ещё один шаг: загрузка в файл по расписанию.
Для пакета панель ProxyMix должна знать адрес компьютера с Key Collector. Доступ идёт по IP, и в списке нет логинов.
По шагам
- Настройте загрузку списка в файл по расписанию: строкой crontab ниже или планировщиком заданий в Windows.
- Откройте сетевые настройки Key Collector и включите использование прокси.
- Импортируйте файл со списком.
- Задайте потоки сбора в пределах лимита пакета.
- Перед каждой долгой сессией сбора импортируйте файл заново.
Файл, который всегда свежий
На сервере или Mac эта строка crontab перезаписывает файл раз в 10 минут. В Windows ту же загрузку по тому же расписанию запускает планировщик заданий.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtКакой пул для Яндекса и Google
Яндекс показывает выдачу и данные Wordstat по региону и строже относится к иностранным адресам. Пул СНГ даёт адреса из России, Казахстана, Беларуси и соседних стран, и для сбора в Яндексе это лучший выбор. Для семантики в Google берите «Микс мира», для европейских рынков «Европу». Цены каждого пула есть на странице цен.
Советы
- Собирайте несколькими короткими сессиями и обновляйте файл между ними.
- Если доля ошибок растёт, уменьшите потоки: Яндекс реагирует и на всплески запросов с многих адресов сразу.
- Если работаете с несколькими регионами, держите отдельный файл на каждый пул.
Wordstat, подсказки и выдача
Сбор из Wordstat сильнее всего нагружает сервисы Яндекса, поэтому давайте ему меньше всего потоков и самые длинные паузы. Поисковые подсказки требуют лёгких запросов и хорошо работают на большем числе потоков. Оценка конкуренции запрашивает полные страницы выдачи и реагирует на всплески, поэтому поднимайте потоки постепенно и следите за логом ошибок.
Резидентные строки в Key Collector
Key Collector работает через HTTP-прокси и хранит логин и пароль в отдельных колонках таблицы прокси в сетевых настройках. Добавьте туда резидентную HTTP-строку: адрес, порт, логин и пароль.
Колонка адреса ждёт IP. Если строка начинается с имени хоста, выполните для него nslookup и подставьте полученный адрес. Для Яндекса берите строку «Страна» со страной Россия. Сбор шлёт много мелких запросов, поэтому в первой сессии следите за расходом трафика в панели.
Бесплатный тест
После верификации попросите поддержку о бесплатном часе пакета СНГ и запустите небольшой сбор. Оплата, паузы и правила обновления разобраны в FAQ.