proxymix
Exemples de code

curl et bash avec liste de proxys : requêtes, boucles, cron

curl parle aux proxys HTTP et SOCKS5 avec une seule option. Ces scripts prennent des lignes au hasard dans votre liste, pour un test rapide ou une boucle sur de nombreuses URL.

Ce qu’il vous faut

curl et coreutils, présents sur tout serveur Linux et sur macOS avec Homebrew. curl prend en charge les proxys HTTP et SOCKS5 avec une seule option, -x. Pour un forfait, autorisez d’abord l’adresse de cette machine dans l’espace client ProxyMix ; ensuite, les proxys n’ont plus besoin d’identifiants.

Une requête par un proxy au hasard

Le premier script télécharge la liste, prend une ligne au hasard avec shuf et envoie une requête par elle. tr retire les fins de ligne Windows si elles apparaissent.

Une requête par un proxy au hasard
LIST_URL="YOUR_LIST_LINK"
PROXY=$(curl -fsS "$LIST_URL" | tr -d '\r' | shuf -n 1)
curl -x "socks5h://$PROXY" https://ifconfig.me/ip

Une boucle sur de nombreuses URL

Le second script lit urls.txt et envoie chaque URL par son propre proxy tiré au hasard. Il affiche le code HTTP, l’URL et le proxy, les échecs se voient donc tout de suite.

Boucle sur urls.txt
LIST_URL="YOUR_LIST_LINK"
curl -fsS "$LIST_URL" | tr -d '\r' > proxies.txt
while read -r url; do
  proxy=$(shuf -n 1 proxies.txt)
  curl -s -m 20 -x "socks5h://$proxy" -o /dev/null -w "%{http_code} $url via $proxy\n" "$url"
done < urls.txt

Un fichier de liste que cron garde à jour

Pour les logiciels qui lisent un fichier, cette ligne télécharge la liste toutes les dix minutes et ne remplace le fichier qu’après un téléchargement complet.

crontab
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txt

Lignes résidentielles avec identifiant

curl reçoit l’identifiant d’une ligne résidentielle avec -U, le mot de passe n’a donc pas besoin d’être encodé même s’il contient : ou @. Le script découpe la ligne, envoie trois requêtes et affiche l’adresse d’où chacune est partie.

curl avec une ligne résidentielle
LINE="HOST:PORT:LOGIN:PASSWORD"
SCHEME="http"
IFS=: read -r GATE GATE_PORT USER_ID USER_KEY <<< "$LINE"
for i in 1 2 3; do
  curl -sS -m 20 -x "$SCHEME://$GATE:$GATE_PORT" -U "$USER_ID:$USER_KEY" https://ifconfig.me/ip
  echo
done

Chaque appel à curl ouvre une nouvelle connexion : une ligne rotative montre une autre IP à chaque requête et une ligne fixe toujours la même. Pour une ligne SOCKS5, mettez SCHEME="socks5h" : -U fonctionne aussi pour les identifiants SOCKS5.

Requêtes en parallèle

La boucle envoie une requête après l’autre. Pour aller plus vite, passez les URL à xargs -P ou à GNU parallel et gardez le nombre de processus dans les threads du forfait. Remplacez socks5h:// par http:// dans l’option -x si une cible fonctionne mieux en HTTP.

Lire les erreurs de curl

  • Code de sortie 7 : curl n’a pas pu joindre le proxy. Vérifiez que l’espace client a l’adresse de cette machine.
  • Code de sortie 56 avec "CONNECT tunnel failed, response 407" : l’identifiant ou le mot de passe d’une ligne résidentielle est erroné.
  • Code de sortie 28 : la requête a dépassé le délai. La ligne est lente, réessayez par une autre ou augmentez -m.
  • Code de sortie 97 : la poignée de main SOCKS a échoué. Réessayez par une autre ligne ou passez à http://.
  • HTTP 403 ou 429 de la cible : le site limite l’adresse, répartissez les requêtes sur plus de lignes.

Pour aller plus loin

Pour un scraper complet, voyez le guide Python ou le guide Node.js. Des logiciels comme ScrapeBox et Key Collector lisent le même fichier que cron garde à jour.

Questions

Questions

Toutes les questions
Comment utiliser HTTP au lieu de SOCKS5 ?

Remplacez socks5h:// par http:// dans l’option -x.

Comment lancer beaucoup de requêtes à la fois ?

Passez les URL à xargs -P ou à GNU parallel et gardez le nombre de processus dans les threads du forfait.

Comment passer un identifiant résidentiel à curl ?

Avec -U login:password à côté de -x http://host:port, ou socks5h://host:port pour une ligne SOCKS5.

Prêt à essayer ?

Rechargez votre solde, créez une liste avec le type et le pays voulus et testez le pool sur votre site. 1 Go d’essai coûte dès $0,27 et le trafic reste valable trois mois.

Composer la commande