Netpeak 工具什么时候需要代理
Netpeak Spider 抓取网站,Netpeak Checker 为 URL 和关键词列表获取搜索结果和指标。审计自己的网站很少需要代理。抓取大型竞争对手网站和批量检查搜索结果则需要:没有代理时,目标网站或搜索引擎会限制您的 IP,任务变慢甚至停止。
两个工具都在设置中接受代理列表,并在请求之间轮换。使用套餐时,先在 ProxyMix 面板中放行您电脑的地址。
操作步骤
- 把列表下载到文件,或从链接复制。
- 打开 Spider 或 Checker 的代理设置,从文件或剪贴板加载列表。
- 把代理行当作 HTTP 代理使用:Spider 接受 HTTP 代理列表,而每个套餐端口都支持 HTTP。
- 把线程设在套餐上限以内。
- 跑一次短的测试抓取,看看错误比例。
Spider 和 Checker 的设置
Spider 向一个网站发送请求,所以抓取速度取决于这个网站对每个地址能容忍多少请求。逐步提高线程,留意 429 和 403 响应。Checker 把请求分摊到各个搜索引擎和服务上,列表越长收益越大。
通过代理的请求比直连慢。把超时时间调高一点,再加一些线程来保持速度。
保持最新的文件
昨天的列表副本里有很多失效行。每次大任务前重新加载,或者准备一个由计划任务每 10 分钟重写的文件:
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txt小技巧
- Spider 和 Checker 使用同一个文件。
- 全球搜索检查用 World MIX,本地搜索结果用欧洲或独联体代理池。
- 审计自己的网站时关闭代理,让抓取更简单。
典型任务
- 抓取大型竞争对手网站,又不触碰它对单个 IP 的限制。
- 在 Checker 中检查成千上万个关键词的排名和摘要。
- 从搜索引擎和服务获取 URL 列表的指标。
- 检查网站对不同国家访客的响应。
在 Netpeak 中使用住宅代理行
Spider 接受由 host:port:login:password 行组成的列表,与面板给出的格式相同,但主机必须是 IPv4 地址。对住宅代理行的主机运行 nslookup,用得到的 IP 替换它。请使用 HTTP 代理行。
选定国家的 “国家” 代理行可以显示网站如何响应该国访客;当搜索引擎屏蔽数据中心网段时,Checker 也能通过家庭地址获取搜索结果。抓取会下载整页内容,所以大规模运行前请先估算流量。