准备工作
需要 curl 和 coreutils,任何 Linux 服务器以及装了 Homebrew 的 macOS 上都有。curl 用一个参数 -x 即可使用 HTTP 和 SOCKS5 代理。使用套餐时,先在 ProxyMix 面板中放行这台机器的地址;之后代理就不需要用户名密码了。
通过随机代理发送一个请求
第一个脚本下载列表,用 shuf 随机取一行,通过它发送一个请求。tr 用来去掉可能出现的 Windows 换行符。
LIST_URL="YOUR_LIST_LINK"
PROXY=$(curl -fsS "$LIST_URL" | tr -d '\r' | shuf -n 1)
curl -x "socks5h://$PROXY" https://ifconfig.me/ip循环处理大量 URL
第二个脚本读取 urls.txt,让每个 URL 经过各自的随机代理。它会打印 HTTP 状态码、URL 和代理,失败一眼就能看到。
LIST_URL="YOUR_LIST_LINK"
curl -fsS "$LIST_URL" | tr -d '\r' > proxies.txt
while read -r url; do
proxy=$(shuf -n 1 proxies.txt)
curl -s -m 20 -x "socks5h://$proxy" -o /dev/null -w "%{http_code} $url via $proxy\n" "$url"
done < urls.txt由 cron 保持最新的列表文件
对于读取文件的程序,这一行每 10 分钟下载一次列表,并且只在下载完整后才替换文件。
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txt带用户名密码的住宅代理行
curl 用 -U 接收住宅代理行的用户名密码,所以即使密码中有 : 或 @ 也无需编码。脚本拆分代理行,发送三个请求,并打印每个请求来自哪个地址。
LINE="HOST:PORT:LOGIN:PASSWORD"
SCHEME="http"
IFS=: read -r GATE GATE_PORT USER_ID USER_KEY <<< "$LINE"
for i in 1 2 3; do
curl -sS -m 20 -x "$SCHEME://$GATE:$GATE_PORT" -U "$USER_ID:$USER_KEY" https://ifconfig.me/ip
echo
done每次调用 curl 都会打开新连接,所以轮换代理行每次请求都显示新 IP,固定代理行则始终相同。SOCKS5 代理行请设置 SCHEME="socks5h":-U 同样适用于 SOCKS5 用户名密码。
并行请求
循环一次只发一个请求。想更快,就把 URL 交给 xargs -P 或 GNU parallel,并让进程数不超过套餐线程数。如果目标在 HTTP 下效果更好,把 -x 参数中的 socks5h:// 换成 http://。
看懂 curl 错误
- 退出码 7:curl 无法连到代理。确认面板中登记了这台机器的地址。
- 退出码 56 并提示 "CONNECT tunnel failed, response 407":住宅代理行的用户名或密码错误。
- 退出码 28:请求超时。这一行太慢,换一行重试或调大
-m。 - 退出码 97:SOCKS 握手失败。换一行重试或改用
http://。 - 目标返回 HTTP 403 或 429:网站在限制这个地址,把请求分摊到更多行。
下一步
完整的采集器请看 Python 教程或 Node.js 教程。ScrapeBox 和 Key Collector 等程序读取的正是 cron 保持最新的同一个文件。