Як Key Collector використовує проксі
Key Collector надсилає багато запитів до сервісів Яндекса й пошукових систем: Wordstat, пошукові підказки, сторінки видачі для оцінки конкуренції. Один IP впирається в ліміти за кілька хвилин, тому програма розподіляє запити на список проксі. Вона читає цей список з файлу або буфера обміну, тож посилання ProxyMix потребує одного додаткового кроку: завантаження у файл за розкладом.
Для пакета панель ProxyMix має знати адресу комп'ютера з Key Collector. Проксі її розпізнають, тому в списку немає логінів.
Покроково
- Налаштуйте завантаження списку у файл за розкладом: рядок crontab нижче або Планувальник завдань у Windows.
- Відкрийте мережеві налаштування Key Collector і ввімкніть використання проксі.
- Імпортуйте файл зі списком.
- Задайте потоки збору в межах ліміту пакета.
- Імпортуйте файл повторно перед кожною довгою сесією збору.
Файл, що лишається свіжим
На сервері або Mac цей рядок crontab переписує файл раз на 10 хвилин. У Windows те саме завантаження з тією ж частотою запускає Планувальник завдань.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtЯкий пул для Яндекса й Google
Яндекс показує видачу й дані Wordstat за регіонами й підозріліше ставиться до іноземних адрес. Пул СНД дає адреси з Росії, Казахстану, Білорусі та сусідніх країн, що пасує збору в Яндексі. Для дослідження ключових слів у Google беріть «Мікс світу» або Європу для європейських ринків. Ціни кожного пулу є на сторінці цін.
Поради
- Збирайте кількома короткими сесіями й оновлюйте файл між ними.
- Зменшуйте потоки, якщо зростає частка помилок: Яндекс також реагує на сплески з багатьох адрес одночасно.
- Якщо працюєте з кількома регіонами, тримайте окремий файл для кожного пулу.
Wordstat, підказки й видача
Збір з Wordstat найбільше навантажує сервіси Яндекса, тож дайте йому найменше потоків і найдовші паузи. Пошукові підказки мають легші запити й витримують більше потоків. Оцінка конкуренції запитує повні сторінки видачі й реагує на сплески, тому піднімайте потоки поступово й стежте за журналом помилок.
Резидентні рядки в Key Collector
Key Collector працює через HTTP-проксі й зберігає логін і пароль в окремих колонках таблиці проксі в мережевих налаштуваннях. Додайте туди резидентний рядок HTTP: адресу, порт, логін і пароль.
Колонка адреси чекає IP. Якщо ваш рядок починається з імені хоста, запустіть для нього nslookup і вкажіть повернену адресу. Для Яндекса беріть рядок «Країна» із Росією як країною. Збір надсилає багато дрібних запитів, тож під час першої сесії стежте за лічильником трафіку в панелі.
Безкоштовний тест
Після верифікації акаунта попросіть підтримку про безкоштовну годину пакета СНД і запустіть невеликий збір. У FAQ пояснено оплату, паузи й правила оновлення.