A-Parser 为什么适合列表链接
A-Parser 从 URL 加载代理并定时重新加载。ProxyMix 套餐正是这样:普通链接以纯文本 ip:port 行返回代理池的可用部分。您只需粘贴一次链接,每次重新加载都会带来新地址,不用管文件,也不用手动清理。
使用套餐时,先把 A-Parser 服务器的地址加入 ProxyMix 面板的允许列表。代理信任这个地址,所以列表里没有用户名密码,A-Parser 直接连接每一行。
操作步骤
- 打开代理检测器设置,新建一个预设或编辑默认预设。
- 把您的 ProxyMix 列表链接添加为代理来源。
- 把重新加载间隔设为 10 分钟。
- 代理类型选 SOCKS5;如果某个解析器需要,就选 HTTP。
- 在每个任务中选择这个预设,并设置线程数,让所有运行中的任务合计不超过套餐上限。
不同版本的 A-Parser 菜单名称会变。如果某一步和您的版本不一样,请找代理检测器设置和代理来源列表。
多个任务的线程
A-Parser 按任务计算线程,ProxyMix 按套餐计算打开的连接。三个任务各 500 线程,就需要至少 1,500 线程的套餐再加余量。超过上限后,代理会拒绝多出的连接,A-Parser 就会把可用的行标记为失效。
把大任务拆成几个线程较少的任务。负载更均匀,停掉一个任务也不影响其他任务。2,000 到 5,000 线程的套餐见价格页面。
搜索引擎解析器
Google、Yandex 等搜索引擎的解析器比网站爬虫更早遇到验证码。列表越大越好:有成千上万行时,每个地址只发少量请求。按搜索引擎选代理池:Google 用 World MIX,Yandex 用独联体代理池,欧盟的本地 Google 域名用欧洲代理池。
内置的代理检测保持轻量即可。代理池已经剔除了失效地址,每次启动前做重度检测只会拖慢任务。
小技巧
- 关注任务日志中失败请求的比例。比例突然上升,通常说明线程总数超过了上限。
- 如果买了几个代理池的套餐,为每个池单独建一个代理检测器预设。
- 重新加载保持 10 分钟。更快的重新加载会被限速,也拿不到更新的行。
怎么看任务日志
A-Parser 会把每个失败请求写进任务日志。验证码或 403 说明目标发现同一地址的请求太多:增加行数或降低线程。超时指向慢速行,换一个代理重试通常就能解决。如果每一行都拒绝连接,说明面板里登记的是另一个地址:找出您的服务器对外访问所用的地址并加入允许列表。
在 A-Parser 中使用住宅代理行
对屏蔽数据中心网段的目标使用住宅代理,选所需国家的 “国家” 代理行。轮换代理行每个新连接都会换新地址,所以一条代理行就能供一个任务的所有线程使用。
- 为住宅代理行新建一个代理检测器预设。
- 把代理行的主机和端口以
host:port形式填入代理列表。 - 开启 Use proxy authorization,并用代理行中的信息填写 Authorization login 和 Authorization password。
- 选择与代理行一致的代理类型:HTTP 或 SOCKS5。
- 在需要家庭地址的任务中选择这个预设。
用户名不同的多条代理行以 login:password@host:port 形式写入列表,每行一条,这时只开启 Use proxy authorization 就够了。住宅流量按 GB 计费,所以下载整页的重型解析任务请留在套餐上。
付款前先测试
向客服申请任意套餐一小时的免费试用,在上面跑一个真实的 A-Parser 任务。付款、暂停和刷新频率见常见问题,用代码写的采集器见 Python 教程。