Key Collector 怎么使用代理
Key Collector 会向 Yandex 服务和搜索引擎发送大量请求:Wordstat、搜索联想、用于竞争分析的结果页。一个 IP 几分钟就会触碰限制,所以程序把请求分摊到代理列表上。它从文件或剪贴板读取列表,所以 ProxyMix 链接需要多一步:定时下载到文件。
使用套餐时,ProxyMix 面板需要知道运行 Key Collector 的电脑地址。代理能识别它,所以列表里没有用户名密码。
操作步骤
- 设置定时把列表下载到文件:用下面这行 crontab,或在 Windows 上用任务计划程序。
- 打开 Key Collector 的网络设置,启用代理。
- 导入列表文件。
- 把采集线程设在套餐上限以内。
- 每次长时间采集前重新导入文件。
保持最新的文件
在服务器或 Mac 上,这行 crontab 每 10 分钟重写一次文件。在 Windows 上,用任务计划程序按同样的周期执行同样的下载。
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtYandex 和 Google 用哪个代理池
Yandex 按地区展示结果和 Wordstat 数据,对境外地址更加警惕。独联体代理池提供俄罗斯、哈萨克斯坦、白俄罗斯及周边国家的地址,适合采集 Yandex。做 Google 关键词研究用 World MIX,欧洲市场用欧洲代理池。各代理池的价格见价格页面。
小技巧
- 分成几次较短的采集,中间刷新文件。
- 错误比例上升时降低线程:Yandex 对大量地址同时发起的突发请求也有反应。
- 如果要做多个地区,为每个代理池单独保存一个文件。
Wordstat、联想和搜索结果
采集 Wordstat 对 Yandex 服务的负载最大,所以给它最少的线程和最长的停顿。搜索联想的请求较轻,可以用更多线程。竞争分析会请求完整的结果页,对突发请求很敏感,所以要逐步提高线程并关注错误日志。
在 Key Collector 中使用住宅代理行
Key Collector 通过 HTTP 代理工作,用户名和密码保存在网络设置中代理表的单独列里。在那里添加一条住宅 HTTP 代理行:地址、端口、用户名和密码。
地址列要求填写 IP。如果您的代理行以主机名开头,请对它运行 nslookup,填写返回的地址。采集 Yandex 时,请用国家为俄罗斯的 “国家” 代理行。收集会发送大量小请求,所以第一次会话时请留意面板中的流量计数。