proxymix
Приклади коду

Ротація проксі в Node.js: fetch, undici і ProxyAgent

Вбудований fetch у Node не має параметра проксі, тому приклад використовує undici з ProxyAgent. Кожен запит іде через випадковий рядок вашого списку.

Що знадобиться

Актуальна LTS-версія Node.js і пакет undici: npm i undici. Вбудований fetch у Node не має параметра проксі, тому приклад використовує undici з ProxyAgent. Збережіть файл як rotate.mjs, бо він використовує ES-модулі та top-level await.

Для пакета додайте адресу вашого сервера в список дозволених у панелі ProxyMix, і коду не потрібні логіни. Резидентні рядки містять логін, як показано нижче.

Скрипт

Скрипт завантажує список з вашого посилання, прибирає порожні рядки й надсилає три запити, кожен через випадковий рядок.

undici з HTTP-проксі
import { fetch, ProxyAgent } from 'undici';

const LIST_URL = 'YOUR_LIST_LINK';

const list = (await (await fetch(LIST_URL)).text()).split(/\s+/).filter(Boolean);
for (let i = 0; i < 3; i++) {
  const proxy = list[Math.floor(Math.random() * list.length)];
  const res = await fetch('https://ifconfig.me/ip', { dispatcher: new ProxyAgent(`http://${proxy}`) });
  console.log(proxy, '->', await res.text());
}

Як це працює

  • Для HTTPS-цілей ProxyAgent надсилає проксі CONNECT, і трафік між вашим кодом і сайтом лишається зашифрованим.
  • Новий dispatcher у кожному виклику fetch змінює проксі для кожного запиту.
  • Відповідь ifconfig.me показує адресу, яку бачать сайти.

Резидентні рядки з логіном

Резидентному рядку потрібен логін у кожному запиті. Приклад збирає з рядка токен Proxy-Authorization і передає ProxyAgent хост і порт. Пароль може містити : і @, бо токен збирається із сирих значень.

undici з резидентним рядком
import { fetch, ProxyAgent } from 'undici';

const LINE = 'HOST:PORT:LOGIN:PASSWORD';

const [host, port, login, ...rest] = LINE.split(':');
const token = `Basic ${Buffer.from(`${login}:${rest.join(':')}`).toString('base64')}`;
for (let i = 0; i < 3; i++) {
  const dispatcher = new ProxyAgent({ uri: `http://${host}:${port}`, token });
  const res = await fetch('https://ifconfig.me/ip', { dispatcher });
  console.log(await res.text());
  await dispatcher.close();
}

Скрипт закриває агента після кожного запиту, тож ротаційний рядок щоразу відповідає через нову адресу. Один агент для багатьох запитів тримає з'єднання, і запити ділять одну IP. Фіксований рядок зберігає адресу в обох випадках.

Паралельність і помилки

Справжні парсери надсилають багато запитів одночасно. Тримайте кількість запитів у роботі нижче потоків пакета, наприклад за допомогою невеликої черги на зразок p-limit. Загорніть кожен запит у try і catch і після тайм-ауту чи помилки з'єднання повторюйте через інший рядок.

Перезавантажуйте список раз на 8–10 хвилин через setInterval і замінюйте масив у пам'яті. Запити, що вже в роботі, зберігають свій проксі, а нові вибирають зі свіжого списку.

SOCKS5 у Node

undici працює з HTTP-проксі. Для SOCKS5 використовуйте пакет SOCKS-агента з модулями http і https або з axios. Кожен рядок пакета відповідає на обидва протоколи, тож список той самий.

Можливі помилки

  • ECONNREFUSED або відхилений CONNECT на кожному рядку: адреси сервера ще немає серед дозволених.
  • "Proxy response (407) !== 200 when HTTP Tunneling" у причині помилки: неправильний логін або пароль резидентного рядка.
  • UND_ERR_CONNECT_TIMEOUT: рядок повільний або вийшов з пулу, повторіть через інший.
  • 403 або капча в тілі відповіді: ціль обмежує адресу, тож додайте рядків і зменште темп.

Що далі

Інструкція для Python і інструкція для curl показують той самий підхід іншими мовами, а на сторінці цін є ліміти потоків.

Питання

Питання

Усі питання
Чи можна використовувати SOCKS5 у Node?

Так, з пакетом SOCKS-агента. HTTP-проксі працюють з undici одразу.

Скільки запитів може йти паралельно?

До ліміту потоків вашого пакета. Щоб утримати цю кількість, використовуйте чергу на зразок p-limit.

Як використати резидентний рядок у Node?

Передайте ProxyAgent хост і порт рядка та token: Basic плюс base64 від login:password.

Готові спробувати?

Поповніть баланс, створіть список потрібного типу і країни та перевірте пул на своєму сайті. 1 ГБ на пробу коштує від $0,27, трафік живе три місяці.

Зібрати замовлення