Що знадобиться
Актуальна LTS-версія Node.js і пакет undici: npm i undici. Вбудований fetch у Node не має параметра проксі, тому приклад використовує undici з ProxyAgent. Збережіть файл як rotate.mjs, бо він використовує ES-модулі та top-level await.
Для пакета додайте адресу вашого сервера в список дозволених у панелі ProxyMix, і коду не потрібні логіни. Резидентні рядки містять логін, як показано нижче.
Скрипт
Скрипт завантажує список з вашого посилання, прибирає порожні рядки й надсилає три запити, кожен через випадковий рядок.
import { fetch, ProxyAgent } from 'undici';
const LIST_URL = 'YOUR_LIST_LINK';
const list = (await (await fetch(LIST_URL)).text()).split(/\s+/).filter(Boolean);
for (let i = 0; i < 3; i++) {
const proxy = list[Math.floor(Math.random() * list.length)];
const res = await fetch('https://ifconfig.me/ip', { dispatcher: new ProxyAgent(`http://${proxy}`) });
console.log(proxy, '->', await res.text());
}Як це працює
- Для HTTPS-цілей ProxyAgent надсилає проксі CONNECT, і трафік між вашим кодом і сайтом лишається зашифрованим.
- Новий dispatcher у кожному виклику fetch змінює проксі для кожного запиту.
- Відповідь ifconfig.me показує адресу, яку бачать сайти.
Резидентні рядки з логіном
Резидентному рядку потрібен логін у кожному запиті. Приклад збирає з рядка токен Proxy-Authorization і передає ProxyAgent хост і порт. Пароль може містити : і @, бо токен збирається із сирих значень.
import { fetch, ProxyAgent } from 'undici';
const LINE = 'HOST:PORT:LOGIN:PASSWORD';
const [host, port, login, ...rest] = LINE.split(':');
const token = `Basic ${Buffer.from(`${login}:${rest.join(':')}`).toString('base64')}`;
for (let i = 0; i < 3; i++) {
const dispatcher = new ProxyAgent({ uri: `http://${host}:${port}`, token });
const res = await fetch('https://ifconfig.me/ip', { dispatcher });
console.log(await res.text());
await dispatcher.close();
}Скрипт закриває агента після кожного запиту, тож ротаційний рядок щоразу відповідає через нову адресу. Один агент для багатьох запитів тримає з'єднання, і запити ділять одну IP. Фіксований рядок зберігає адресу в обох випадках.
Паралельність і помилки
Справжні парсери надсилають багато запитів одночасно. Тримайте кількість запитів у роботі нижче потоків пакета, наприклад за допомогою невеликої черги на зразок p-limit. Загорніть кожен запит у try і catch і після тайм-ауту чи помилки з'єднання повторюйте через інший рядок.
Перезавантажуйте список раз на 8–10 хвилин через setInterval і замінюйте масив у пам'яті. Запити, що вже в роботі, зберігають свій проксі, а нові вибирають зі свіжого списку.
SOCKS5 у Node
undici працює з HTTP-проксі. Для SOCKS5 використовуйте пакет SOCKS-агента з модулями http і https або з axios. Кожен рядок пакета відповідає на обидва протоколи, тож список той самий.
Можливі помилки
- ECONNREFUSED або відхилений CONNECT на кожному рядку: адреси сервера ще немає серед дозволених.
- "Proxy response (407) !== 200 when HTTP Tunneling" у причині помилки: неправильний логін або пароль резидентного рядка.
- UND_ERR_CONNECT_TIMEOUT: рядок повільний або вийшов з пулу, повторіть через інший.
- 403 або капча в тілі відповіді: ціль обмежує адресу, тож додайте рядків і зменште темп.
Що далі
Інструкція для Python і інструкція для curl показують той самий підхід іншими мовами, а на сторінці цін є ліміти потоків.