proxymix
Code-Beispiele

Proxy-Rotation in Python: urllib, requests und SOCKS5

Zwei funktionierende Beispiele: eines nur mit der Standardbibliothek, das andere mit requests und SOCKS5. Beide nehmen für jede Anfrage eine zufällige Zeile aus Ihrer Liste.

Was Sie brauchen

Python 3 und ein ProxyMix-Listen-Link für ein Paket oder eine Residential-Zeile aus dem Kundenbereich. Für ein Paket erlauben Sie die Adresse des Rechners mit dem Skript im Kundenbereich; die Proxys erkennen sie, deshalb übergibt dieser Code keine Logins. Das erste Beispiel nutzt nur die Standardbibliothek und läuft auf jedem Python 3. Das zweite nutzt requests mit SOCKS5-Unterstützung.

Installieren Sie die Pakete für das zweite Beispiel: pip install "requests[socks]".

Standardbibliothek und ein HTTP-Proxy

Das Skript lädt die Liste einmal, wählt eine zufällige Zeile und schickt eine Anfrage darüber. Die Antwort von ifconfig.me zeigt die Adresse, die Websites sehen.

Standardbibliothek, HTTP
import random
from urllib.request import ProxyHandler, build_opener, urlopen

LIST_URL = "YOUR_LIST_LINK"

lines = urlopen(LIST_URL, timeout=30).read().decode().split()
picked = random.choice(lines)
endpoint = f"http://{picked}"
opener = build_opener(ProxyHandler(dict.fromkeys(("http", "https"), endpoint)))
seen_as = opener.open("https://ifconfig.me/ip", timeout=20).read().decode()
print(f"{picked} -> {seen_as}")

requests mit SOCKS5

Das zweite Beispiel sendet drei Anfragen, jede über einen eigenen zufälligen Proxy. Beim Schema socks5h übernimmt der Proxy die Namensauflösung, und Ihr Server schickt keine DNS-Anfrage an das Ziel.

requests mit SOCKS5
import random
import requests

LIST_URL = "YOUR_LIST_LINK"

pool = requests.get(LIST_URL, timeout=30).text.split()
with requests.Session() as session:
    for line in random.sample(pool, k=min(3, len(pool))):
        session.proxies = dict.fromkeys(("http", "https"), f"socks5h://{line}")
        answer = session.get("https://ifconfig.me/ip", timeout=20)
        print(f"{line} -> {answer.text.strip()}")

Residential-Zeilen mit Login

Eine Residential-Zeile hat ihren eigenen Login, deshalb übergibt der Code ihn in der Proxy-URL. quote kodiert Zeichen wie @ und : in Login und Passwort, sonst würde requests die URL an der falschen Stelle trennen. Fügen Sie eine Zeile aus dem Kundenbereich in LINE ein.

requests mit einer Residential-Zeile
import requests
from urllib.parse import quote

LINE = "HOST:PORT:LOGIN:PASSWORD"

host, port, login, password = LINE.split(":", 3)
proxy = f"http://{quote(login, safe='')}:{quote(password, safe='')}@{host}:{port}"
for _ in range(3):
    answer = requests.get("https://ifconfig.me/ip", proxies={"http": proxy, "https": proxy}, timeout=20)
    print(answer.text.strip())

Jedes requests.get öffnet eine neue Verbindung, deshalb antwortet eine rotierende Zeile jedes Mal mit einer neuen Adresse. In einer Session hält requests die Verbindung offen, und die Anfragen laufen über eine IP, bis sie geschlossen wird. Eine feste Zeile behält ihre Adresse in beiden Fällen. Für eine SOCKS5-Zeile ändern Sie das Schema auf socks5h://.

Vom Beispiel zum Scraper

  • Laden Sie die Liste bei längeren Läufen alle 8 bis 10 Minuten neu. Halten Sie sie in einer Variable und ersetzen Sie sie per Timer, statt sie vor jeder Anfrage herunterzuladen.
  • Fangen Sie Timeouts und Verbindungsfehler ab und wiederholen Sie über eine andere Zeile, denn einige Zeilen einer großen Liste sind langsam.
  • Halten Sie die Parallelität unter den Threads des Pakets. Bei einem Thread-Pool oder asyncio setzen Sie die Poolgröße unter das Limit.
  • Für asyncio nehmen Sie aiohttp mit einem HTTP-Proxy oder ein Paket mit SOCKS-Connector. Die Logik der Rotation bleibt dieselbe.

Mögliche Fehler

  • ProxyError oder abgewiesene Verbindung auf jeder Zeile: Der Kundenbereich kennt die Adresse Ihres Rechners noch nicht.
  • ProxyError mit "Tunnel connection failed: 407": Login oder Passwort einer Residential-Zeile ist falsch.
  • ConnectTimeout oder ReadTimeout: Die Zeile ist langsam oder hat den Pool verlassen, wiederholen Sie über eine andere.
  • Ein 403 oder eine Captcha-Seite: Das Ziel begrenzt die Adresse, verteilen Sie die Last auf weitere Zeilen und werden Sie langsamer.
  • SSLError über einen Proxy: meist eine defekte Zeile, wiederholen Sie über eine andere.

Nächste Schritte

Die Node.js-Anleitung und die curl-Anleitung zeigen dieselbe Rotation in anderen Sprachen. Pakete und Threads stehen auf der Preisseite, und die kostenlose Proxy-Liste hilft, den Code vor dem Kauf zu testen.

Fragen

Fragen

Alle Fragen
Wie oft soll das Skript die Liste neu laden?

Bei langen Läufen alle 8 bis 10 Minuten. Ein kurzes Skript kann sie einmal beim Start laden.

Was ist mit asyncio?

Gehen Sie mit aiohttp genauso vor: Halten Sie die Zeilen in einer Variable und geben Sie jeder Anfrage ihren eigenen Proxy.

Welches Proxy-Schema nutze ich in requests?

socks5h, wenn der Proxy Domainnamen auflösen soll, http:// für einfache HTTP-Proxys. Beides funktioniert mit jeder Paketzeile.

Wie übergebe ich einen Residential-Login in requests?

Schreiben Sie ihn als http://login:password@host:port in die Proxy-URL und kodieren Sie Login und Passwort mit urllib.parse.quote.

Lust auf einen Test?

Laden Sie Guthaben auf, erstellen Sie eine Liste mit Typ und Land und testen Sie den Pool auf Ihrer Website. 1 GB zum Probieren kostet ab $0,27, der Traffic bleibt drei Monate gültig.

Bestellung planen