Was Sie brauchen
Eine aktuelle Node.js-LTS-Version und das Paket undici: npm i undici. Das eingebaute fetch in Node hat keine Proxy-Option, deshalb nutzt das Beispiel undici mit einem ProxyAgent. Speichern Sie die Datei als rotate.mjs, denn sie nutzt ES-Module und top-level await.
Für ein Paket tragen Sie Ihre Serveradresse in die Freigabeliste im ProxyMix-Kundenbereich ein, dann braucht der Code keine Logins. Residential-Zeilen enthalten einen Login, siehe unten.
Das Skript
Das Skript lädt die Liste von Ihrem Link, entfernt leere Zeilen und sendet drei Anfragen, jede über eine zufällige Zeile.
import { fetch, ProxyAgent } from 'undici';
const LIST_URL = 'YOUR_LIST_LINK';
const list = (await (await fetch(LIST_URL)).text()).split(/\s+/).filter(Boolean);
for (let i = 0; i < 3; i++) {
const proxy = list[Math.floor(Math.random() * list.length)];
const res = await fetch('https://ifconfig.me/ip', { dispatcher: new ProxyAgent(`http://${proxy}`) });
console.log(proxy, '->', await res.text());
}So funktioniert es
- Für HTTPS-Ziele sendet ProxyAgent ein CONNECT an den Proxy, und der Traffic bleibt zwischen Ihrem Code und der Website verschlüsselt.
- Ein neuer dispatcher in jedem fetch-Aufruf wechselt den Proxy pro Anfrage.
- Die Antwort von ifconfig.me zeigt die Adresse, die Websites sehen.
Residential-Zeilen mit Login
Eine Residential-Zeile braucht ihren Login bei jeder Anfrage. Das Beispiel baut aus der Zeile ein Proxy-Authorization-Token und übergibt ProxyAgent Host und Port. Das Passwort darf : und @ enthalten, weil das Token aus den Rohwerten entsteht.
import { fetch, ProxyAgent } from 'undici';
const LINE = 'HOST:PORT:LOGIN:PASSWORD';
const [host, port, login, ...rest] = LINE.split(':');
const token = `Basic ${Buffer.from(`${login}:${rest.join(':')}`).toString('base64')}`;
for (let i = 0; i < 3; i++) {
const dispatcher = new ProxyAgent({ uri: `http://${host}:${port}`, token });
const res = await fetch('https://ifconfig.me/ip', { dispatcher });
console.log(await res.text());
await dispatcher.close();
}Das Skript schließt den Agent nach jeder Anfrage, deshalb antwortet eine rotierende Zeile jedes Mal über eine neue Adresse. Ein Agent für viele Anfragen hält seine Verbindung, und sie teilen sich eine IP. Eine feste Zeile behält die Adresse in beiden Fällen.
Parallelität und Fehler
Echte Scraper senden viele Anfragen gleichzeitig. Halten Sie die laufenden Anfragen unter den Threads des Pakets, zum Beispiel mit einer kleinen Warteschlange wie p-limit. Packen Sie jede Anfrage in try und catch und wiederholen Sie nach einem Timeout oder Verbindungsfehler über eine andere Zeile.
Laden Sie die Liste alle 8 bis 10 Minuten mit setInterval neu und ersetzen Sie das Array im Speicher. Laufende Anfragen behalten ihren Proxy, neue wählen aus der frischen Liste.
SOCKS5 in Node
undici spricht HTTP-Proxys. Für SOCKS5 nehmen Sie ein SOCKS-Agent-Paket mit den Modulen http und https oder mit axios. Jede Paketzeile beantwortet beide Protokolle, die Liste bleibt also dieselbe.
Mögliche Fehler
- ECONNREFUSED oder ein abgewiesenes CONNECT auf jeder Zeile: Ihre Serveradresse steht noch nicht in der Freigabeliste.
- "Proxy response (407) !== 200 when HTTP Tunneling" in der Fehlerursache: Login oder Passwort einer Residential-Zeile ist falsch.
- UND_ERR_CONNECT_TIMEOUT: Die Zeile ist langsam oder hat den Pool verlassen, wiederholen Sie über eine andere.
- Ein 403 oder ein Captcha im Body: Das Ziel begrenzt die Adresse, nehmen Sie mehr Zeilen und senken Sie das Tempo.
Nächste Schritte
Die Python-Anleitung und die curl-Anleitung zeigen dasselbe Muster in anderen Sprachen, und die Preisseite nennt die Thread-Limits.