proxymix
Exemples de code

Rotation de proxys en Python : urllib, requests et SOCKS5

Deux exemples qui fonctionnent : l’un n’utilise que la bibliothèque standard, l’autre requests avec SOCKS5. Les deux prennent une ligne au hasard dans votre liste pour chaque requête.

Ce qu’il vous faut

Python 3 et un lien de liste ProxyMix pour un forfait, ou une ligne résidentielle de l’espace client. Pour un forfait, autorisez dans l’espace client l’adresse de la machine qui exécute le script ; les proxys la reconnaissent, ce code ne transmet donc pas d’identifiants. Le premier exemple n’utilise que la bibliothèque standard et tourne sur n’importe quel Python 3. Le second utilise requests avec la prise en charge de SOCKS5.

Installez les paquets du second exemple : pip install "requests[socks]".

Bibliothèque standard et proxy HTTP

Le script télécharge la liste une fois, choisit une ligne au hasard et envoie une requête par elle. La réponse d’ifconfig.me donne l’adresse vue par les sites.

Bibliothèque standard, HTTP
import random
from urllib.request import ProxyHandler, build_opener, urlopen

LIST_URL = "YOUR_LIST_LINK"

lines = urlopen(LIST_URL, timeout=30).read().decode().split()
picked = random.choice(lines)
endpoint = f"http://{picked}"
opener = build_opener(ProxyHandler(dict.fromkeys(("http", "https"), endpoint)))
seen_as = opener.open("https://ifconfig.me/ip", timeout=20).read().decode()
print(f"{picked} -> {seen_as}")

requests avec SOCKS5

Le second exemple envoie trois requêtes, chacune par son propre proxy tiré au hasard. Le schéma socks5h confie la résolution des noms de domaine au proxy, et votre serveur n’envoie aucune requête DNS à la cible.

requests avec SOCKS5
import random
import requests

LIST_URL = "YOUR_LIST_LINK"

pool = requests.get(LIST_URL, timeout=30).text.split()
with requests.Session() as session:
    for line in random.sample(pool, k=min(3, len(pool))):
        session.proxies = dict.fromkeys(("http", "https"), f"socks5h://{line}")
        answer = session.get("https://ifconfig.me/ip", timeout=20)
        print(f"{line} -> {answer.text.strip()}")

Lignes résidentielles avec identifiant

Une ligne résidentielle porte son propre identifiant, le code le transmet donc dans l’URL du proxy. quote encode des caractères comme @ et : dans l’identifiant comme dans le mot de passe, sinon requests couperait l’URL au mauvais endroit. Collez une ligne de l’espace client dans LINE.

requests avec une ligne résidentielle
import requests
from urllib.parse import quote

LINE = "HOST:PORT:LOGIN:PASSWORD"

host, port, login, password = LINE.split(":", 3)
proxy = f"http://{quote(login, safe='')}:{quote(password, safe='')}@{host}:{port}"
for _ in range(3):
    answer = requests.get("https://ifconfig.me/ip", proxies={"http": proxy, "https": proxy}, timeout=20)
    print(answer.text.strip())

Chaque requests.get ouvre une nouvelle connexion, une ligne rotative répond donc chaque fois avec une nouvelle adresse. Dans une Session, requests garde la connexion ouverte, et les requêtes sortent par une seule IP jusqu’à sa fermeture. Une ligne fixe garde son adresse dans les deux cas. Pour une ligne SOCKS5, passez le schéma à socks5h://.

De l’exemple au scraper

  • Pour les longs travaux, retéléchargez la liste toutes les 8 à 10 minutes. Gardez-la dans une variable et remplacez-la avec un minuteur, plutôt que de la télécharger avant chaque requête.
  • Interceptez les délais dépassés et les erreurs de connexion et réessayez par une autre ligne, car certaines lignes d’une grande liste seront lentes.
  • Gardez la concurrence sous les threads du forfait. Avec un pool de threads ou asyncio, fixez la taille du pool sous la limite.
  • Pour asyncio, prenez aiohttp avec un proxy HTTP ou un paquet de connecteur SOCKS. La logique de rotation reste la même.

Erreurs possibles

  • ProxyError ou connexion refusée sur chaque ligne : l’espace client n’a pas encore l’adresse de votre machine.
  • ProxyError avec "Tunnel connection failed: 407" : l’identifiant ou le mot de passe d’une ligne résidentielle est erroné.
  • ConnectTimeout ou ReadTimeout : la ligne est lente ou a quitté le pool, réessayez par une autre.
  • Un 403 ou une page avec captcha : la cible limite l’adresse, répartissez la charge sur davantage de lignes et ralentissez.
  • SSLError via un proxy : en général une ligne défectueuse, réessayez par une autre.

Pour aller plus loin

Le guide Node.js et le guide curl montrent la même rotation dans d’autres langages. Les forfaits et les threads sont sur la page des tarifs, et la liste de proxys gratuits aide à tester le code avant d’acheter.

Questions

Questions

Toutes les questions
À quelle fréquence le script doit-il recharger la liste ?

Toutes les 8 à 10 minutes pour les longs travaux. Un script court peut la charger une fois au démarrage.

Et avec asyncio ?

Même approche avec aiohttp : gardez les lignes dans une variable et donnez à chaque requête son propre proxy.

Quel schéma de proxy utiliser dans requests ?

socks5h quand le proxy doit résoudre les noms de domaine, http:// pour de simples proxys HTTP. Les deux fonctionnent avec chaque ligne de forfait.

Comment passer un identifiant résidentiel dans requests ?

Mettez-le dans l’URL du proxy sous la forme http://login:password@host:port et encodez identifiant et mot de passe avec urllib.parse.quote.

Prêt à essayer ?

Rechargez votre solde, créez une liste avec le type et le pays voulus et testez le pool sur votre site. 1 Go d’essai coûte dès $0,27 et le trafic reste valable trois mois.

Composer la commande