Ce qu’il vous faut
Une version LTS récente de Node.js et le paquet undici : npm i undici. Le fetch intégré de Node n’a pas d’option proxy, l’exemple utilise donc undici avec un ProxyAgent. Enregistrez le fichier sous rotate.mjs, car il utilise les modules ES et l’await de premier niveau.
Pour un forfait, ajoutez l’adresse de votre serveur à la liste des adresses autorisées dans l’espace client ProxyMix, et le code n’a pas besoin d’identifiants. Les lignes résidentielles contiennent un identifiant, comme montré plus bas.
Le script
Le script charge la liste depuis votre lien, retire les lignes vides et envoie trois requêtes, chacune par une ligne au hasard.
import { fetch, ProxyAgent } from 'undici';
const LIST_URL = 'YOUR_LIST_LINK';
const list = (await (await fetch(LIST_URL)).text()).split(/\s+/).filter(Boolean);
for (let i = 0; i < 3; i++) {
const proxy = list[Math.floor(Math.random() * list.length)];
const res = await fetch('https://ifconfig.me/ip', { dispatcher: new ProxyAgent(`http://${proxy}`) });
console.log(proxy, '->', await res.text());
}Comment ça marche
- Pour les cibles HTTPS, ProxyAgent envoie un CONNECT au proxy, et le trafic reste chiffré entre votre code et le site.
- Un nouveau dispatcher dans chaque appel fetch change de proxy à chaque requête.
- La réponse d’ifconfig.me donne l’adresse vue par les sites.
Lignes résidentielles avec identifiant
Une ligne résidentielle a besoin de son identifiant à chaque requête. L’exemple construit un jeton Proxy-Authorization à partir de la ligne et donne à ProxyAgent l’hôte et le port. Le mot de passe peut contenir : et @, car le jeton est construit à partir des valeurs brutes.
import { fetch, ProxyAgent } from 'undici';
const LINE = 'HOST:PORT:LOGIN:PASSWORD';
const [host, port, login, ...rest] = LINE.split(':');
const token = `Basic ${Buffer.from(`${login}:${rest.join(':')}`).toString('base64')}`;
for (let i = 0; i < 3; i++) {
const dispatcher = new ProxyAgent({ uri: `http://${host}:${port}`, token });
const res = await fetch('https://ifconfig.me/ip', { dispatcher });
console.log(await res.text());
await dispatcher.close();
}Le script ferme l’agent après chaque requête, une ligne rotative répond donc chaque fois par une nouvelle adresse. Un agent réutilisé pour de nombreuses requêtes garde sa connexion, et elles partagent une IP. Une ligne fixe garde l’adresse dans les deux cas.
Concurrence et erreurs
Les vrais scrapers envoient beaucoup de requêtes à la fois. Gardez le nombre de requêtes en cours sous les threads du forfait, par exemple avec une petite file comme p-limit. Placez chaque requête dans un try et catch, et réessayez par une autre ligne après un délai dépassé ou une erreur de connexion.
Rechargez la liste toutes les 8 à 10 minutes avec setInterval et remplacez le tableau en mémoire. Les requêtes en cours gardent leur proxy, les nouvelles piochent dans la liste fraîche.
SOCKS5 dans Node
undici prend en charge les proxys HTTP. Pour SOCKS5, utilisez un paquet d’agent SOCKS avec les modules http et https ou avec axios. Chaque ligne de forfait répond aux deux protocoles, la liste reste donc la même.
Erreurs possibles
- ECONNREFUSED ou un CONNECT refusé sur toutes les lignes : l’adresse de votre serveur n’est pas encore autorisée.
- "Proxy response (407) !== 200 when HTTP Tunneling" dans la cause de l’erreur : l’identifiant ou le mot de passe d’une ligne résidentielle est erroné.
- UND_ERR_CONNECT_TIMEOUT : la ligne est lente ou a quitté le pool, réessayez par une autre.
- Un 403 ou un captcha dans la réponse : la cible limite l’adresse, ajoutez des lignes et baissez le rythme.
Pour aller plus loin
Le guide Python et le guide curl montrent le même principe dans d’autres langages, et la page des tarifs indique les limites de threads.