proxymix
Примеры кода

Ротация прокси в Node.js: fetch, undici и ProxyAgent

Встроенный fetch в Node не умеет прокси, поэтому пример использует undici с ProxyAgent. Каждый запрос идёт через случайную строку из вашего списка.

Что понадобится

Актуальная LTS-версия Node.js и пакет undici: npm i undici. Встроенный fetch в Node не умеет работать с прокси, поэтому пример использует undici с ProxyAgent. Сохраните файл как rotate.mjs: в нём ES-модули и await на верхнем уровне.

Для пакета внесите адрес своего сервера в список разрешённых в панели ProxyMix: доступ идёт по IP, и в списке нет логинов. У резидентных строк логин есть, пример ниже.

Скрипт

Скрипт загружает список по вашей ссылке, отбрасывает пустые строки и отправляет три запроса, каждый через случайную строку.

undici с HTTP-прокси
import { fetch, ProxyAgent } from 'undici';

const LIST_URL = 'YOUR_LIST_LINK';

const list = (await (await fetch(LIST_URL)).text()).split(/\s+/).filter(Boolean);
for (let i = 0; i < 3; i++) {
  const proxy = list[Math.floor(Math.random() * list.length)];
  const res = await fetch('https://ifconfig.me/ip', { dispatcher: new ProxyAgent(`http://${proxy}`) });
  console.log(proxy, '->', await res.text());
}

Как это работает

  • Для HTTPS-сайтов ProxyAgent отправляет прокси команду CONNECT, и трафик остаётся зашифрованным между вашим кодом и сайтом.
  • Новый dispatcher в каждом вызове fetch меняет прокси на каждый запрос.
  • Ответ ifconfig.me показывает адрес, который видят сайты.

Резидентные строки с логином

Резидентной строке нужен логин в каждом запросе. Пример собирает из строки токен Proxy-Authorization и передаёт ProxyAgent хост и порт. Пароль может содержать : и @, потому что токен строится из исходных значений.

undici с резидентной строкой
import { fetch, ProxyAgent } from 'undici';

const LINE = 'HOST:PORT:LOGIN:PASSWORD';

const [host, port, login, ...rest] = LINE.split(':');
const token = `Basic ${Buffer.from(`${login}:${rest.join(':')}`).toString('base64')}`;
for (let i = 0; i < 3; i++) {
  const dispatcher = new ProxyAgent({ uri: `http://${host}:${port}`, token });
  const res = await fetch('https://ifconfig.me/ip', { dispatcher });
  console.log(await res.text());
  await dispatcher.close();
}

Скрипт закрывает агент после каждого запроса, поэтому ротационная строка каждый раз отвечает новым адресом. Один агент на много запросов держит соединение, и они идут с одного IP. Закреплённая строка держит адрес в обоих случаях.

Параллельность и ошибки

Настоящие парсеры отправляют много запросов одновременно. Держите число запросов в работе ниже потоков пакета, например с небольшой очередью вроде p-limit. Оборачивайте каждый запрос в try и catch и повторяйте его через другую строку после таймаута или ошибки соединения.

Перезагружайте список раз в 8–10 минут через setInterval и подменяйте массив в памяти. Запросы, которые уже идут, сохранят свой прокси, а новые возьмут строку из свежего списка.

SOCKS5 в Node

undici работает с HTTP-прокси. Для SOCKS5 используйте пакет с SOCKS-агентом вместе с модулями http и https или с axios. Каждая строка пакета отвечает по обоим протоколам, так что список остаётся тем же.

Какие ошибки бывают

  • ECONNREFUSED или отказ в CONNECT на каждой строке: адрес вашего сервера ещё не в списке разрешённых.
  • «Proxy response (407) !== 200 when HTTP Tunneling» в причине ошибки: логин или пароль резидентной строки неверный.
  • UND_ERR_CONNECT_TIMEOUT: строка медленная или ушла из пула, повторите запрос через другую.
  • Ответ 403 или капча в теле страницы: сайт ограничивает адрес, добавьте строк и снизьте темп.

Что дальше

Инструкция для Python и инструкция для curl показывают тот же подход на других языках, а лимиты потоков есть на странице цен.

Вопросы

Вопросы

Все вопросы
Можно SOCKS5 в Node?

Да, через пакет с SOCKS-агентом. HTTP-прокси работают в undici сразу.

Сколько запросов можно запускать параллельно?

До лимита потоков пакета. Держите число запросов очередью, например p-limit.

Как использовать резидентную строку в Node?

Передайте ProxyAgent хост и порт строки и token: Basic и base64 от login:password.

Готовы попробовать?

Пополните баланс, создайте список нужного типа и страны и проверьте пул на своём сайте. 1 ГБ на пробу стоит от $0,27, трафик живёт три месяца.

Собрать заказ