准备工作
当前的 Node.js LTS 版本和 undici 包:npm i undici。Node 内置的 fetch 没有代理选项,所以示例使用 undici 配合 ProxyAgent。把文件保存为 rotate.mjs,因为它使用 ES 模块和顶层 await。
使用套餐时,把服务器地址加入 ProxyMix 面板的允许列表,代码就不需要用户名密码。住宅代理行带有用户名密码,见下文。
脚本
脚本从您的链接加载列表,去掉空行,然后发送三个请求,每个请求经过随机的一行。
import { fetch, ProxyAgent } from 'undici';
const LIST_URL = 'YOUR_LIST_LINK';
const list = (await (await fetch(LIST_URL)).text()).split(/\s+/).filter(Boolean);
for (let i = 0; i < 3; i++) {
const proxy = list[Math.floor(Math.random() * list.length)];
const res = await fetch('https://ifconfig.me/ip', { dispatcher: new ProxyAgent(`http://${proxy}`) });
console.log(proxy, '->', await res.text());
}工作原理
- 对于 HTTPS 目标,ProxyAgent 向代理发送 CONNECT,您的代码和网站之间的流量保持加密。
- 每次 fetch 调用使用新的 dispatcher,这样每个请求都会换代理。
- ifconfig.me 的响应显示网站看到的地址。
带用户名密码的住宅代理行
住宅代理行每次请求都需要用户名密码。示例根据代理行生成 Proxy-Authorization 令牌,并把主机和端口传给 ProxyAgent。密码可以包含 : 和 @,因为令牌是由原始值生成的。
import { fetch, ProxyAgent } from 'undici';
const LINE = 'HOST:PORT:LOGIN:PASSWORD';
const [host, port, login, ...rest] = LINE.split(':');
const token = `Basic ${Buffer.from(`${login}:${rest.join(':')}`).toString('base64')}`;
for (let i = 0; i < 3; i++) {
const dispatcher = new ProxyAgent({ uri: `http://${host}:${port}`, token });
const res = await fetch('https://ifconfig.me/ip', { dispatcher });
console.log(await res.text());
await dispatcher.close();
}脚本在每次请求后关闭 agent,所以轮换代理行每次都通过新地址响应。一个 agent 重复用于多次请求时会保持连接,这些请求共用一个 IP。固定代理行在两种情况下都保持地址不变。
并发和错误
真实的采集器会同时发送很多请求。让进行中的请求数保持在套餐线程数以下,例如用 p-limit 这样的小队列。把每个请求包在 try 和 catch 里,超时或连接错误后换一行重试。
用 setInterval 每 8 到 10 分钟重新加载列表,替换内存中的数组。进行中的请求保留原来的代理,新请求从新列表中选取。
Node 中的 SOCKS5
undici 支持 HTTP 代理。需要 SOCKS5 时,请配合 http 和 https 模块或 axios 使用 SOCKS 代理包。每条套餐代理行都支持两种协议,所以列表不用变。
可能遇到的错误
- 每一行都报 ECONNREFUSED 或 CONNECT 被拒绝:您的服务器地址还不在允许列表中。
- 错误原因中出现 "Proxy response (407) !== 200 when HTTP Tunneling":住宅代理行的用户名或密码错误。
- UND_ERR_CONNECT_TIMEOUT:这一行太慢或已离开代理池,换一行重试。
- 响应体中出现 403 或验证码:目标在限制这个地址,增加行数并放慢速度。