Ce qu’il vous faut
Python 3 et un lien de liste ProxyMix pour un forfait, ou une ligne résidentielle de l’espace client. Pour un forfait, autorisez dans l’espace client l’adresse de la machine qui exécute le script ; les proxys la reconnaissent, ce code ne transmet donc pas d’identifiants. Le premier exemple n’utilise que la bibliothèque standard et tourne sur n’importe quel Python 3. Le second utilise requests avec la prise en charge de SOCKS5.
Installez les paquets du second exemple : pip install "requests[socks]".
Bibliothèque standard et proxy HTTP
Le script télécharge la liste une fois, choisit une ligne au hasard et envoie une requête par elle. La réponse d’ifconfig.me donne l’adresse vue par les sites.
import random
from urllib.request import ProxyHandler, build_opener, urlopen
LIST_URL = "YOUR_LIST_LINK"
lines = urlopen(LIST_URL, timeout=30).read().decode().split()
picked = random.choice(lines)
endpoint = f"http://{picked}"
opener = build_opener(ProxyHandler(dict.fromkeys(("http", "https"), endpoint)))
seen_as = opener.open("https://ifconfig.me/ip", timeout=20).read().decode()
print(f"{picked} -> {seen_as}")requests avec SOCKS5
Le second exemple envoie trois requêtes, chacune par son propre proxy tiré au hasard. Le schéma socks5h confie la résolution des noms de domaine au proxy, et votre serveur n’envoie aucune requête DNS à la cible.
import random
import requests
LIST_URL = "YOUR_LIST_LINK"
pool = requests.get(LIST_URL, timeout=30).text.split()
with requests.Session() as session:
for line in random.sample(pool, k=min(3, len(pool))):
session.proxies = dict.fromkeys(("http", "https"), f"socks5h://{line}")
answer = session.get("https://ifconfig.me/ip", timeout=20)
print(f"{line} -> {answer.text.strip()}")Lignes résidentielles avec identifiant
Une ligne résidentielle porte son propre identifiant, le code le transmet donc dans l’URL du proxy. quote encode des caractères comme @ et : dans l’identifiant comme dans le mot de passe, sinon requests couperait l’URL au mauvais endroit. Collez une ligne de l’espace client dans LINE.
import requests
from urllib.parse import quote
LINE = "HOST:PORT:LOGIN:PASSWORD"
host, port, login, password = LINE.split(":", 3)
proxy = f"http://{quote(login, safe='')}:{quote(password, safe='')}@{host}:{port}"
for _ in range(3):
answer = requests.get("https://ifconfig.me/ip", proxies={"http": proxy, "https": proxy}, timeout=20)
print(answer.text.strip())Chaque requests.get ouvre une nouvelle connexion, une ligne rotative répond donc chaque fois avec une nouvelle adresse. Dans une Session, requests garde la connexion ouverte, et les requêtes sortent par une seule IP jusqu’à sa fermeture. Une ligne fixe garde son adresse dans les deux cas. Pour une ligne SOCKS5, passez le schéma à socks5h://.
De l’exemple au scraper
- Pour les longs travaux, retéléchargez la liste toutes les 8 à 10 minutes. Gardez-la dans une variable et remplacez-la avec un minuteur, plutôt que de la télécharger avant chaque requête.
- Interceptez les délais dépassés et les erreurs de connexion et réessayez par une autre ligne, car certaines lignes d’une grande liste seront lentes.
- Gardez la concurrence sous les threads du forfait. Avec un pool de threads ou asyncio, fixez la taille du pool sous la limite.
- Pour asyncio, prenez aiohttp avec un proxy HTTP ou un paquet de connecteur SOCKS. La logique de rotation reste la même.
Erreurs possibles
- ProxyError ou connexion refusée sur chaque ligne : l’espace client n’a pas encore l’adresse de votre machine.
- ProxyError avec "Tunnel connection failed: 407" : l’identifiant ou le mot de passe d’une ligne résidentielle est erroné.
- ConnectTimeout ou ReadTimeout : la ligne est lente ou a quitté le pool, réessayez par une autre.
- Un 403 ou une page avec captcha : la cible limite l’adresse, répartissez la charge sur davantage de lignes et ralentissez.
- SSLError via un proxy : en général une ligne défectueuse, réessayez par une autre.
Pour aller plus loin
Le guide Node.js et le guide curl montrent la même rotation dans d’autres langages. Les forfaits et les threads sont sur la page des tarifs, et la liste de proxys gratuits aide à tester le code avant d’acheter.