Что понадобится
Актуальная LTS-версия Node.js и пакет undici: npm i undici. Встроенный fetch в Node не умеет работать с прокси, поэтому пример использует undici с ProxyAgent. Сохраните файл как rotate.mjs: в нём ES-модули и await на верхнем уровне.
Для пакета внесите адрес своего сервера в список разрешённых в панели ProxyMix: доступ идёт по IP, и в списке нет логинов. У резидентных строк логин есть, пример ниже.
Скрипт
Скрипт загружает список по вашей ссылке, отбрасывает пустые строки и отправляет три запроса, каждый через случайную строку.
import { fetch, ProxyAgent } from 'undici';
const LIST_URL = 'YOUR_LIST_LINK';
const list = (await (await fetch(LIST_URL)).text()).split(/\s+/).filter(Boolean);
for (let i = 0; i < 3; i++) {
const proxy = list[Math.floor(Math.random() * list.length)];
const res = await fetch('https://ifconfig.me/ip', { dispatcher: new ProxyAgent(`http://${proxy}`) });
console.log(proxy, '->', await res.text());
}Как это работает
- Для HTTPS-сайтов ProxyAgent отправляет прокси команду CONNECT, и трафик остаётся зашифрованным между вашим кодом и сайтом.
- Новый dispatcher в каждом вызове fetch меняет прокси на каждый запрос.
- Ответ ifconfig.me показывает адрес, который видят сайты.
Резидентные строки с логином
Резидентной строке нужен логин в каждом запросе. Пример собирает из строки токен Proxy-Authorization и передаёт ProxyAgent хост и порт. Пароль может содержать : и @, потому что токен строится из исходных значений.
import { fetch, ProxyAgent } from 'undici';
const LINE = 'HOST:PORT:LOGIN:PASSWORD';
const [host, port, login, ...rest] = LINE.split(':');
const token = `Basic ${Buffer.from(`${login}:${rest.join(':')}`).toString('base64')}`;
for (let i = 0; i < 3; i++) {
const dispatcher = new ProxyAgent({ uri: `http://${host}:${port}`, token });
const res = await fetch('https://ifconfig.me/ip', { dispatcher });
console.log(await res.text());
await dispatcher.close();
}Скрипт закрывает агент после каждого запроса, поэтому ротационная строка каждый раз отвечает новым адресом. Один агент на много запросов держит соединение, и они идут с одного IP. Закреплённая строка держит адрес в обоих случаях.
Параллельность и ошибки
Настоящие парсеры отправляют много запросов одновременно. Держите число запросов в работе ниже потоков пакета, например с небольшой очередью вроде p-limit. Оборачивайте каждый запрос в try и catch и повторяйте его через другую строку после таймаута или ошибки соединения.
Перезагружайте список раз в 8–10 минут через setInterval и подменяйте массив в памяти. Запросы, которые уже идут, сохранят свой прокси, а новые возьмут строку из свежего списка.
SOCKS5 в Node
undici работает с HTTP-прокси. Для SOCKS5 используйте пакет с SOCKS-агентом вместе с модулями http и https или с axios. Каждая строка пакета отвечает по обоим протоколам, так что список остаётся тем же.
Какие ошибки бывают
- ECONNREFUSED или отказ в CONNECT на каждой строке: адрес вашего сервера ещё не в списке разрешённых.
- «Proxy response (407) !== 200 when HTTP Tunneling» в причине ошибки: логин или пароль резидентной строки неверный.
- UND_ERR_CONNECT_TIMEOUT: строка медленная или ушла из пула, повторите запрос через другую.
- Ответ 403 или капча в теле страницы: сайт ограничивает адрес, добавьте строк и снизьте темп.
Что дальше
Инструкция для Python и инструкция для curl показывают тот же подход на других языках, а лимиты потоков есть на странице цен.