proxymix
代码示例

curl 和 bash 搭配代理列表:请求、循环和 cron 定时任务

curl 用一个参数就能使用 HTTP 和 SOCKS5 代理。这些脚本从您的列表中随机取行,可用于快速测试,也可以循环处理大量 URL。

准备工作

需要 curl 和 coreutils,任何 Linux 服务器以及装了 Homebrew 的 macOS 上都有。curl 用一个参数 -x 即可使用 HTTP 和 SOCKS5 代理。使用套餐时,先在 ProxyMix 面板中放行这台机器的地址;之后代理就不需要用户名密码了。

通过随机代理发送一个请求

第一个脚本下载列表,用 shuf 随机取一行,通过它发送一个请求。tr 用来去掉可能出现的 Windows 换行符。

通过随机代理发送一个请求
LIST_URL="YOUR_LIST_LINK"
PROXY=$(curl -fsS "$LIST_URL" | tr -d '\r' | shuf -n 1)
curl -x "socks5h://$PROXY" https://ifconfig.me/ip

循环处理大量 URL

第二个脚本读取 urls.txt,让每个 URL 经过各自的随机代理。它会打印 HTTP 状态码、URL 和代理,失败一眼就能看到。

循环处理 urls.txt
LIST_URL="YOUR_LIST_LINK"
curl -fsS "$LIST_URL" | tr -d '\r' > proxies.txt
while read -r url; do
  proxy=$(shuf -n 1 proxies.txt)
  curl -s -m 20 -x "socks5h://$proxy" -o /dev/null -w "%{http_code} $url via $proxy\n" "$url"
done < urls.txt

由 cron 保持最新的列表文件

对于读取文件的程序,这一行每 10 分钟下载一次列表,并且只在下载完整后才替换文件。

crontab
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txt

带用户名密码的住宅代理行

curl 用 -U 接收住宅代理行的用户名密码,所以即使密码中有 : 或 @ 也无需编码。脚本拆分代理行,发送三个请求,并打印每个请求来自哪个地址。

curl 使用住宅代理行
LINE="HOST:PORT:LOGIN:PASSWORD"
SCHEME="http"
IFS=: read -r GATE GATE_PORT USER_ID USER_KEY <<< "$LINE"
for i in 1 2 3; do
  curl -sS -m 20 -x "$SCHEME://$GATE:$GATE_PORT" -U "$USER_ID:$USER_KEY" https://ifconfig.me/ip
  echo
done

每次调用 curl 都会打开新连接,所以轮换代理行每次请求都显示新 IP,固定代理行则始终相同。SOCKS5 代理行请设置 SCHEME="socks5h":-U 同样适用于 SOCKS5 用户名密码。

并行请求

循环一次只发一个请求。想更快,就把 URL 交给 xargs -P 或 GNU parallel,并让进程数不超过套餐线程数。如果目标在 HTTP 下效果更好,把 -x 参数中的 socks5h:// 换成 http://。

看懂 curl 错误

  • 退出码 7:curl 无法连到代理。确认面板中登记了这台机器的地址。
  • 退出码 56 并提示 "CONNECT tunnel failed, response 407":住宅代理行的用户名或密码错误。
  • 退出码 28:请求超时。这一行太慢,换一行重试或调大 -m。
  • 退出码 97:SOCKS 握手失败。换一行重试或改用 http://。
  • 目标返回 HTTP 403 或 429:网站在限制这个地址,把请求分摊到更多行。

下一步

完整的采集器请看 Python 教程或 Node.js 教程。ScrapeBox 和 Key Collector 等程序读取的正是 cron 保持最新的同一个文件。

问题

常见问题

全部问题
怎么用 HTTP 代替 SOCKS5?

把 -x 参数中的 socks5h:// 换成 http://。

怎么同时运行大量请求?

把 URL 交给 xargs -P 或 GNU parallel,并让进程数不超过套餐线程数。

如何把住宅代理的用户名密码传给 curl?

用 -U login:password 搭配 -x http://host:port,SOCKS5 代理行则用 socks5h://host:port。

准备试试吗?

充值余额,创建所需类型和国家的列表,在自己的网站上测试代理池。试用 1 GB 只需 $0.27 起,流量三个月有效。

配置订单