Was Sie brauchen
curl und coreutils, vorhanden auf jedem Linux-Server und auf macOS mit Homebrew. curl spricht HTTP- und SOCKS5-Proxys mit einem Flag, -x. Für ein Paket erlauben Sie zuerst die Adresse dieses Rechners im ProxyMix-Kundenbereich; danach brauchen die Proxys keine Logins.
Eine Anfrage über einen zufälligen Proxy
Das erste Skript lädt die Liste, nimmt mit shuf eine zufällige Zeile und sendet eine Anfrage darüber. tr entfernt Windows-Zeilenenden, falls sie auftauchen.
LIST_URL="YOUR_LIST_LINK"
PROXY=$(curl -fsS "$LIST_URL" | tr -d '\r' | shuf -n 1)
curl -x "socks5h://$PROXY" https://ifconfig.me/ipEine Schleife über viele URLs
Das zweite Skript liest urls.txt und schickt jede URL über ihren eigenen zufälligen Proxy. Es gibt den HTTP-Code, die URL und den Proxy aus, Fehler fallen also sofort auf.
LIST_URL="YOUR_LIST_LINK"
curl -fsS "$LIST_URL" | tr -d '\r' > proxies.txt
while read -r url; do
proxy=$(shuf -n 1 proxies.txt)
curl -s -m 20 -x "socks5h://$proxy" -o /dev/null -w "%{http_code} $url via $proxy\n" "$url"
done < urls.txtEine Listendatei, die Cron aktuell hält
Für Programme, die eine Datei lesen, lädt diese Zeile die Liste alle 10 Minuten herunter und ersetzt die Datei erst nach einem vollständigen Download.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtResidential-Zeilen mit Login
curl nimmt den Login einer Residential-Zeile mit -U, deshalb muss das Passwort nicht kodiert werden, auch wenn es : oder @ enthält. Das Skript zerlegt die Zeile, sendet drei Anfragen und gibt aus, von welcher Adresse jede kam.
LINE="HOST:PORT:LOGIN:PASSWORD"
SCHEME="http"
IFS=: read -r GATE GATE_PORT USER_ID USER_KEY <<< "$LINE"
for i in 1 2 3; do
curl -sS -m 20 -x "$SCHEME://$GATE:$GATE_PORT" -U "$USER_ID:$USER_KEY" https://ifconfig.me/ip
echo
doneJeder curl-Aufruf öffnet eine neue Verbindung, deshalb zeigt eine rotierende Zeile pro Anfrage eine neue IP und eine feste Zeile immer dieselbe. Für eine SOCKS5-Zeile setzen Sie SCHEME="socks5h": -U funktioniert auch für SOCKS5-Logins.
Parallele Anfragen
Die Schleife sendet eine Anfrage nach der anderen. Für mehr Tempo geben Sie die URLs an xargs -P oder GNU parallel und halten die Zahl der Prozesse innerhalb der Threads des Pakets. Ersetzen Sie socks5h:// durch http:// im Flag -x, wenn ein Ziel über HTTP besser funktioniert.
curl-Fehler lesen
- Exit-Code 7: curl hat den Proxy nicht erreicht. Prüfen Sie, ob der Kundenbereich die Adresse dieses Rechners kennt.
- Exit-Code 56 mit "CONNECT tunnel failed, response 407": Login oder Passwort einer Residential-Zeile ist falsch.
- Exit-Code 28: Die Anfrage lief in ein Timeout. Die Zeile ist langsam, wiederholen Sie über eine andere oder erhöhen Sie
-m. - Exit-Code 97: Der SOCKS-Handshake ist fehlgeschlagen. Wiederholen Sie über eine andere Zeile oder wechseln Sie zu
http://. - HTTP 403 oder 429 vom Ziel: Die Website begrenzt die Adresse, verteilen Sie die Anfragen auf mehr Zeilen.
Nächste Schritte
Für einen vollständigen Scraper sehen Sie sich die Python-Anleitung oder die Node.js-Anleitung an. Programme wie ScrapeBox und Key Collector lesen dieselbe Datei, die Cron aktuell hält.