proxymix
Code-Beispiele

curl und bash mit Proxy-Liste: Anfragen, Schleifen, cron

curl spricht HTTP- und SOCKS5-Proxys mit einem Flag. Diese Skripte nehmen zufällige Zeilen aus Ihrer Liste, für einen schnellen Test oder eine Schleife über viele URLs.

Was Sie brauchen

curl und coreutils, vorhanden auf jedem Linux-Server und auf macOS mit Homebrew. curl spricht HTTP- und SOCKS5-Proxys mit einem Flag, -x. Für ein Paket erlauben Sie zuerst die Adresse dieses Rechners im ProxyMix-Kundenbereich; danach brauchen die Proxys keine Logins.

Eine Anfrage über einen zufälligen Proxy

Das erste Skript lädt die Liste, nimmt mit shuf eine zufällige Zeile und sendet eine Anfrage darüber. tr entfernt Windows-Zeilenenden, falls sie auftauchen.

Eine Anfrage über einen zufälligen Proxy
LIST_URL="YOUR_LIST_LINK"
PROXY=$(curl -fsS "$LIST_URL" | tr -d '\r' | shuf -n 1)
curl -x "socks5h://$PROXY" https://ifconfig.me/ip

Eine Schleife über viele URLs

Das zweite Skript liest urls.txt und schickt jede URL über ihren eigenen zufälligen Proxy. Es gibt den HTTP-Code, die URL und den Proxy aus, Fehler fallen also sofort auf.

Schleife über urls.txt
LIST_URL="YOUR_LIST_LINK"
curl -fsS "$LIST_URL" | tr -d '\r' > proxies.txt
while read -r url; do
  proxy=$(shuf -n 1 proxies.txt)
  curl -s -m 20 -x "socks5h://$proxy" -o /dev/null -w "%{http_code} $url via $proxy\n" "$url"
done < urls.txt

Eine Listendatei, die Cron aktuell hält

Für Programme, die eine Datei lesen, lädt diese Zeile die Liste alle 10 Minuten herunter und ersetzt die Datei erst nach einem vollständigen Download.

crontab
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txt

Residential-Zeilen mit Login

curl nimmt den Login einer Residential-Zeile mit -U, deshalb muss das Passwort nicht kodiert werden, auch wenn es : oder @ enthält. Das Skript zerlegt die Zeile, sendet drei Anfragen und gibt aus, von welcher Adresse jede kam.

curl mit einer Residential-Zeile
LINE="HOST:PORT:LOGIN:PASSWORD"
SCHEME="http"
IFS=: read -r GATE GATE_PORT USER_ID USER_KEY <<< "$LINE"
for i in 1 2 3; do
  curl -sS -m 20 -x "$SCHEME://$GATE:$GATE_PORT" -U "$USER_ID:$USER_KEY" https://ifconfig.me/ip
  echo
done

Jeder curl-Aufruf öffnet eine neue Verbindung, deshalb zeigt eine rotierende Zeile pro Anfrage eine neue IP und eine feste Zeile immer dieselbe. Für eine SOCKS5-Zeile setzen Sie SCHEME="socks5h": -U funktioniert auch für SOCKS5-Logins.

Parallele Anfragen

Die Schleife sendet eine Anfrage nach der anderen. Für mehr Tempo geben Sie die URLs an xargs -P oder GNU parallel und halten die Zahl der Prozesse innerhalb der Threads des Pakets. Ersetzen Sie socks5h:// durch http:// im Flag -x, wenn ein Ziel über HTTP besser funktioniert.

curl-Fehler lesen

  • Exit-Code 7: curl hat den Proxy nicht erreicht. Prüfen Sie, ob der Kundenbereich die Adresse dieses Rechners kennt.
  • Exit-Code 56 mit "CONNECT tunnel failed, response 407": Login oder Passwort einer Residential-Zeile ist falsch.
  • Exit-Code 28: Die Anfrage lief in ein Timeout. Die Zeile ist langsam, wiederholen Sie über eine andere oder erhöhen Sie -m.
  • Exit-Code 97: Der SOCKS-Handshake ist fehlgeschlagen. Wiederholen Sie über eine andere Zeile oder wechseln Sie zu http://.
  • HTTP 403 oder 429 vom Ziel: Die Website begrenzt die Adresse, verteilen Sie die Anfragen auf mehr Zeilen.

Nächste Schritte

Für einen vollständigen Scraper sehen Sie sich die Python-Anleitung oder die Node.js-Anleitung an. Programme wie ScrapeBox und Key Collector lesen dieselbe Datei, die Cron aktuell hält.

Fragen

Fragen

Alle Fragen
Wie nutze ich HTTP statt SOCKS5?

Ersetzen Sie socks5h:// durch http:// im Flag -x.

Wie führe ich viele Anfragen gleichzeitig aus?

Geben Sie die URLs an xargs -P oder GNU parallel und halten Sie die Zahl der Prozesse innerhalb der Threads des Pakets.

Wie übergebe ich curl einen Residential-Login?

Mit -U login:password neben -x http://host:port, oder socks5h://host:port für eine SOCKS5-Zeile.

Lust auf einen Test?

Laden Sie Guthaben auf, erstellen Sie eine Liste mit Typ und Land und testen Sie den Pool auf Ihrer Website. 1 GB zum Probieren kostet ab $0,27, der Traffic bleibt drei Monate gültig.

Bestellung planen