proxymix
软件配置

Netpeak Spider 和 Checker 代理设置:代理列表配置方法

Netpeak 工具在设置中接受代理列表,并在请求之间轮换使用。这对大型审计和 SERP 检查很有帮助。住宅代理行需要 IPv4 主机和用户名密码。

Netpeak 工具什么时候需要代理

Netpeak Spider 抓取网站,Netpeak Checker 为 URL 和关键词列表获取搜索结果和指标。审计自己的网站很少需要代理。抓取大型竞争对手网站和批量检查搜索结果则需要:没有代理时,目标网站或搜索引擎会限制您的 IP,任务变慢甚至停止。

两个工具都在设置中接受代理列表,并在请求之间轮换。使用套餐时,先在 ProxyMix 面板中放行您电脑的地址。

操作步骤

  1. 把列表下载到文件,或从链接复制。
  2. 打开 Spider 或 Checker 的代理设置,从文件或剪贴板加载列表。
  3. 把代理行当作 HTTP 代理使用:Spider 接受 HTTP 代理列表,而每个套餐端口都支持 HTTP。
  4. 把线程设在套餐上限以内。
  5. 跑一次短的测试抓取,看看错误比例。

Spider 和 Checker 的设置

Spider 向一个网站发送请求,所以抓取速度取决于这个网站对每个地址能容忍多少请求。逐步提高线程,留意 429 和 403 响应。Checker 把请求分摊到各个搜索引擎和服务上,列表越长收益越大。

通过代理的请求比直连慢。把超时时间调高一点,再加一些线程来保持速度。

保持最新的文件

昨天的列表副本里有很多失效行。每次大任务前重新加载,或者准备一个由计划任务每 10 分钟重写的文件:

crontab
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txt

小技巧

  • Spider 和 Checker 使用同一个文件。
  • 全球搜索检查用 World MIX,本地搜索结果用欧洲或独联体代理池。
  • 审计自己的网站时关闭代理,让抓取更简单。

典型任务

  • 抓取大型竞争对手网站,又不触碰它对单个 IP 的限制。
  • 在 Checker 中检查成千上万个关键词的排名和摘要。
  • 从搜索引擎和服务获取 URL 列表的指标。
  • 检查网站对不同国家访客的响应。

在 Netpeak 中使用住宅代理行

Spider 接受由 host:port:login:password 行组成的列表,与面板给出的格式相同,但主机必须是 IPv4 地址。对住宅代理行的主机运行 nslookup,用得到的 IP 替换它。请使用 HTTP 代理行。

选定国家的 “国家” 代理行可以显示网站如何响应该国访客;当搜索引擎屏蔽数据中心网段时,Checker 也能通过家庭地址获取搜索结果。抓取会下载整页内容,所以大规模运行前请先估算流量。

先测试

账户验证后,可向客服申请一小时免费试用,抓取一个真实目标。在价格页面比较套餐;自建爬虫请看 Python 教程。

问题

常见问题

全部问题
Spider 和 Checker 用同一个列表吗?

是的,把同一个文件加载到两个工具里。

为什么用代理后有些检查变慢了?

每个请求都要经过另一台服务器。把超时调高一点,再加一些线程。

Netpeak 支持 SOCKS5 吗?

Netpeak Spider 接受 HTTP 代理列表。每个套餐端口都支持 HTTP,住宅代理行应创建为 HTTP。

为什么 Netpeak 拒绝住宅代理行?

主机字段只接受 IPv4 地址。请把代理行中的主机名替换为 nslookup 得到的 IP。

准备试试吗?

充值余额,创建所需类型和国家的列表,在自己的网站上测试代理池。试用 1 GB 只需 $0.27 起,流量三个月有效。

配置订单