proxymix
代码示例

Node.js 代理轮换:fetch、undici 和 ProxyAgent 示例

Node 内置的 fetch 没有代理选项,所以示例使用 undici 配合 ProxyAgent。每个请求都经过您列表中随机的一行。

准备工作

当前的 Node.js LTS 版本和 undici 包:npm i undici。Node 内置的 fetch 没有代理选项,所以示例使用 undici 配合 ProxyAgent。把文件保存为 rotate.mjs,因为它使用 ES 模块和顶层 await。

使用套餐时,把服务器地址加入 ProxyMix 面板的允许列表,代码就不需要用户名密码。住宅代理行带有用户名密码,见下文。

脚本

脚本从您的链接加载列表,去掉空行,然后发送三个请求,每个请求经过随机的一行。

undici 配合 HTTP 代理
import { fetch, ProxyAgent } from 'undici';

const LIST_URL = 'YOUR_LIST_LINK';

const list = (await (await fetch(LIST_URL)).text()).split(/\s+/).filter(Boolean);
for (let i = 0; i < 3; i++) {
  const proxy = list[Math.floor(Math.random() * list.length)];
  const res = await fetch('https://ifconfig.me/ip', { dispatcher: new ProxyAgent(`http://${proxy}`) });
  console.log(proxy, '->', await res.text());
}

工作原理

  • 对于 HTTPS 目标,ProxyAgent 向代理发送 CONNECT,您的代码和网站之间的流量保持加密。
  • 每次 fetch 调用使用新的 dispatcher,这样每个请求都会换代理。
  • ifconfig.me 的响应显示网站看到的地址。

带用户名密码的住宅代理行

住宅代理行每次请求都需要用户名密码。示例根据代理行生成 Proxy-Authorization 令牌,并把主机和端口传给 ProxyAgent。密码可以包含 : 和 @,因为令牌是由原始值生成的。

undici 使用住宅代理行
import { fetch, ProxyAgent } from 'undici';

const LINE = 'HOST:PORT:LOGIN:PASSWORD';

const [host, port, login, ...rest] = LINE.split(':');
const token = `Basic ${Buffer.from(`${login}:${rest.join(':')}`).toString('base64')}`;
for (let i = 0; i < 3; i++) {
  const dispatcher = new ProxyAgent({ uri: `http://${host}:${port}`, token });
  const res = await fetch('https://ifconfig.me/ip', { dispatcher });
  console.log(await res.text());
  await dispatcher.close();
}

脚本在每次请求后关闭 agent,所以轮换代理行每次都通过新地址响应。一个 agent 重复用于多次请求时会保持连接,这些请求共用一个 IP。固定代理行在两种情况下都保持地址不变。

并发和错误

真实的采集器会同时发送很多请求。让进行中的请求数保持在套餐线程数以下,例如用 p-limit 这样的小队列。把每个请求包在 try 和 catch 里,超时或连接错误后换一行重试。

用 setInterval 每 8 到 10 分钟重新加载列表,替换内存中的数组。进行中的请求保留原来的代理,新请求从新列表中选取。

Node 中的 SOCKS5

undici 支持 HTTP 代理。需要 SOCKS5 时,请配合 http 和 https 模块或 axios 使用 SOCKS 代理包。每条套餐代理行都支持两种协议,所以列表不用变。

可能遇到的错误

  • 每一行都报 ECONNREFUSED 或 CONNECT 被拒绝:您的服务器地址还不在允许列表中。
  • 错误原因中出现 "Proxy response (407) !== 200 when HTTP Tunneling":住宅代理行的用户名或密码错误。
  • UND_ERR_CONNECT_TIMEOUT:这一行太慢或已离开代理池,换一行重试。
  • 响应体中出现 403 或验证码:目标在限制这个地址,增加行数并放慢速度。

下一步

Python 教程和 curl 教程用其他语言演示同样的模式,线程上限见价格页面。

问题

常见问题

全部问题
Node 中能用 SOCKS5 吗?

能,需要 SOCKS agent 包。HTTP 代理在 undici 中开箱即用。

可以同时运行多少个请求?

不超过您套餐的线程上限。用 p-limit 这样的队列控制数量。

如何在 Node 中使用住宅代理行?

把代理行的主机和端口以及 token 传给 ProxyAgent:token 为 Basic 加上 login:password 的 base64。

准备试试吗?

充值余额,创建所需类型和国家的列表,在自己的网站上测试代理池。试用 1 GB 只需 $0.27 起,流量三个月有效。

配置订单