proxymix
Code-Beispiele

Proxy-Rotation in Node.js: fetch, undici und ProxyAgent

Das eingebaute fetch in Node hat keine Proxy-Option, deshalb nutzt das Beispiel undici mit einem ProxyAgent. Jede Anfrage geht über eine zufällige Zeile Ihrer Liste.

Was Sie brauchen

Eine aktuelle Node.js-LTS-Version und das Paket undici: npm i undici. Das eingebaute fetch in Node hat keine Proxy-Option, deshalb nutzt das Beispiel undici mit einem ProxyAgent. Speichern Sie die Datei als rotate.mjs, denn sie nutzt ES-Module und top-level await.

Für ein Paket tragen Sie Ihre Serveradresse in die Freigabeliste im ProxyMix-Kundenbereich ein, dann braucht der Code keine Logins. Residential-Zeilen enthalten einen Login, siehe unten.

Das Skript

Das Skript lädt die Liste von Ihrem Link, entfernt leere Zeilen und sendet drei Anfragen, jede über eine zufällige Zeile.

undici mit einem HTTP-Proxy
import { fetch, ProxyAgent } from 'undici';

const LIST_URL = 'YOUR_LIST_LINK';

const list = (await (await fetch(LIST_URL)).text()).split(/\s+/).filter(Boolean);
for (let i = 0; i < 3; i++) {
  const proxy = list[Math.floor(Math.random() * list.length)];
  const res = await fetch('https://ifconfig.me/ip', { dispatcher: new ProxyAgent(`http://${proxy}`) });
  console.log(proxy, '->', await res.text());
}

So funktioniert es

  • Für HTTPS-Ziele sendet ProxyAgent ein CONNECT an den Proxy, und der Traffic bleibt zwischen Ihrem Code und der Website verschlüsselt.
  • Ein neuer dispatcher in jedem fetch-Aufruf wechselt den Proxy pro Anfrage.
  • Die Antwort von ifconfig.me zeigt die Adresse, die Websites sehen.

Residential-Zeilen mit Login

Eine Residential-Zeile braucht ihren Login bei jeder Anfrage. Das Beispiel baut aus der Zeile ein Proxy-Authorization-Token und übergibt ProxyAgent Host und Port. Das Passwort darf : und @ enthalten, weil das Token aus den Rohwerten entsteht.

undici mit einer Residential-Zeile
import { fetch, ProxyAgent } from 'undici';

const LINE = 'HOST:PORT:LOGIN:PASSWORD';

const [host, port, login, ...rest] = LINE.split(':');
const token = `Basic ${Buffer.from(`${login}:${rest.join(':')}`).toString('base64')}`;
for (let i = 0; i < 3; i++) {
  const dispatcher = new ProxyAgent({ uri: `http://${host}:${port}`, token });
  const res = await fetch('https://ifconfig.me/ip', { dispatcher });
  console.log(await res.text());
  await dispatcher.close();
}

Das Skript schließt den Agent nach jeder Anfrage, deshalb antwortet eine rotierende Zeile jedes Mal über eine neue Adresse. Ein Agent für viele Anfragen hält seine Verbindung, und sie teilen sich eine IP. Eine feste Zeile behält die Adresse in beiden Fällen.

Parallelität und Fehler

Echte Scraper senden viele Anfragen gleichzeitig. Halten Sie die laufenden Anfragen unter den Threads des Pakets, zum Beispiel mit einer kleinen Warteschlange wie p-limit. Packen Sie jede Anfrage in try und catch und wiederholen Sie nach einem Timeout oder Verbindungsfehler über eine andere Zeile.

Laden Sie die Liste alle 8 bis 10 Minuten mit setInterval neu und ersetzen Sie das Array im Speicher. Laufende Anfragen behalten ihren Proxy, neue wählen aus der frischen Liste.

SOCKS5 in Node

undici spricht HTTP-Proxys. Für SOCKS5 nehmen Sie ein SOCKS-Agent-Paket mit den Modulen http und https oder mit axios. Jede Paketzeile beantwortet beide Protokolle, die Liste bleibt also dieselbe.

Mögliche Fehler

  • ECONNREFUSED oder ein abgewiesenes CONNECT auf jeder Zeile: Ihre Serveradresse steht noch nicht in der Freigabeliste.
  • "Proxy response (407) !== 200 when HTTP Tunneling" in der Fehlerursache: Login oder Passwort einer Residential-Zeile ist falsch.
  • UND_ERR_CONNECT_TIMEOUT: Die Zeile ist langsam oder hat den Pool verlassen, wiederholen Sie über eine andere.
  • Ein 403 oder ein Captcha im Body: Das Ziel begrenzt die Adresse, nehmen Sie mehr Zeilen und senken Sie das Tempo.

Nächste Schritte

Die Python-Anleitung und die curl-Anleitung zeigen dasselbe Muster in anderen Sprachen, und die Preisseite nennt die Thread-Limits.

Fragen

Fragen

Alle Fragen
Kann ich SOCKS5 in Node nutzen?

Ja, mit einem Paket mit SOCKS-Agent. HTTP-Proxys funktionieren mit undici direkt.

Wie viele Anfragen können parallel laufen?

Bis zum Thread-Limit Ihres Pakets. Nutzen Sie eine Warteschlange wie p-limit, um die Zahl einzuhalten.

Wie nutze ich eine Residential-Zeile in Node?

Übergeben Sie ProxyAgent Host und Port der Zeile und ein token: Basic plus das base64 von login:password.

Lust auf einen Test?

Laden Sie Guthaben auf, erstellen Sie eine Liste mit Typ und Land und testen Sie den Pool auf Ihrer Website. 1 GB zum Probieren kostet ab $0,27, der Traffic bleibt drei Monate gültig.

Bestellung planen