Ce qu’il vous faut
curl et coreutils, présents sur tout serveur Linux et sur macOS avec Homebrew. curl prend en charge les proxys HTTP et SOCKS5 avec une seule option, -x. Pour un forfait, autorisez d’abord l’adresse de cette machine dans l’espace client ProxyMix ; ensuite, les proxys n’ont plus besoin d’identifiants.
Une requête par un proxy au hasard
Le premier script télécharge la liste, prend une ligne au hasard avec shuf et envoie une requête par elle. tr retire les fins de ligne Windows si elles apparaissent.
LIST_URL="YOUR_LIST_LINK"
PROXY=$(curl -fsS "$LIST_URL" | tr -d '\r' | shuf -n 1)
curl -x "socks5h://$PROXY" https://ifconfig.me/ipUne boucle sur de nombreuses URL
Le second script lit urls.txt et envoie chaque URL par son propre proxy tiré au hasard. Il affiche le code HTTP, l’URL et le proxy, les échecs se voient donc tout de suite.
LIST_URL="YOUR_LIST_LINK"
curl -fsS "$LIST_URL" | tr -d '\r' > proxies.txt
while read -r url; do
proxy=$(shuf -n 1 proxies.txt)
curl -s -m 20 -x "socks5h://$proxy" -o /dev/null -w "%{http_code} $url via $proxy\n" "$url"
done < urls.txtUn fichier de liste que cron garde à jour
Pour les logiciels qui lisent un fichier, cette ligne télécharge la liste toutes les dix minutes et ne remplace le fichier qu’après un téléchargement complet.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtLignes résidentielles avec identifiant
curl reçoit l’identifiant d’une ligne résidentielle avec -U, le mot de passe n’a donc pas besoin d’être encodé même s’il contient : ou @. Le script découpe la ligne, envoie trois requêtes et affiche l’adresse d’où chacune est partie.
LINE="HOST:PORT:LOGIN:PASSWORD"
SCHEME="http"
IFS=: read -r GATE GATE_PORT USER_ID USER_KEY <<< "$LINE"
for i in 1 2 3; do
curl -sS -m 20 -x "$SCHEME://$GATE:$GATE_PORT" -U "$USER_ID:$USER_KEY" https://ifconfig.me/ip
echo
doneChaque appel à curl ouvre une nouvelle connexion : une ligne rotative montre une autre IP à chaque requête et une ligne fixe toujours la même. Pour une ligne SOCKS5, mettez SCHEME="socks5h" : -U fonctionne aussi pour les identifiants SOCKS5.
Requêtes en parallèle
La boucle envoie une requête après l’autre. Pour aller plus vite, passez les URL à xargs -P ou à GNU parallel et gardez le nombre de processus dans les threads du forfait. Remplacez socks5h:// par http:// dans l’option -x si une cible fonctionne mieux en HTTP.
Lire les erreurs de curl
- Code de sortie 7 : curl n’a pas pu joindre le proxy. Vérifiez que l’espace client a l’adresse de cette machine.
- Code de sortie 56 avec "CONNECT tunnel failed, response 407" : l’identifiant ou le mot de passe d’une ligne résidentielle est erroné.
- Code de sortie 28 : la requête a dépassé le délai. La ligne est lente, réessayez par une autre ou augmentez
-m. - Code de sortie 97 : la poignée de main SOCKS a échoué. Réessayez par une autre ligne ou passez à
http://. - HTTP 403 ou 429 de la cible : le site limite l’adresse, répartissez les requêtes sur plus de lignes.
Pour aller plus loin
Pour un scraper complet, voyez le guide Python ou le guide Node.js. Des logiciels comme ScrapeBox et Key Collector lisent le même fichier que cron garde à jour.