Was Sie brauchen
Python 3 und ein ProxyMix-Listen-Link für ein Paket oder eine Residential-Zeile aus dem Kundenbereich. Für ein Paket erlauben Sie die Adresse des Rechners mit dem Skript im Kundenbereich; die Proxys erkennen sie, deshalb übergibt dieser Code keine Logins. Das erste Beispiel nutzt nur die Standardbibliothek und läuft auf jedem Python 3. Das zweite nutzt requests mit SOCKS5-Unterstützung.
Installieren Sie die Pakete für das zweite Beispiel: pip install "requests[socks]".
Standardbibliothek und ein HTTP-Proxy
Das Skript lädt die Liste einmal, wählt eine zufällige Zeile und schickt eine Anfrage darüber. Die Antwort von ifconfig.me zeigt die Adresse, die Websites sehen.
import random
from urllib.request import ProxyHandler, build_opener, urlopen
LIST_URL = "YOUR_LIST_LINK"
lines = urlopen(LIST_URL, timeout=30).read().decode().split()
picked = random.choice(lines)
endpoint = f"http://{picked}"
opener = build_opener(ProxyHandler(dict.fromkeys(("http", "https"), endpoint)))
seen_as = opener.open("https://ifconfig.me/ip", timeout=20).read().decode()
print(f"{picked} -> {seen_as}")requests mit SOCKS5
Das zweite Beispiel sendet drei Anfragen, jede über einen eigenen zufälligen Proxy. Beim Schema socks5h übernimmt der Proxy die Namensauflösung, und Ihr Server schickt keine DNS-Anfrage an das Ziel.
import random
import requests
LIST_URL = "YOUR_LIST_LINK"
pool = requests.get(LIST_URL, timeout=30).text.split()
with requests.Session() as session:
for line in random.sample(pool, k=min(3, len(pool))):
session.proxies = dict.fromkeys(("http", "https"), f"socks5h://{line}")
answer = session.get("https://ifconfig.me/ip", timeout=20)
print(f"{line} -> {answer.text.strip()}")Residential-Zeilen mit Login
Eine Residential-Zeile hat ihren eigenen Login, deshalb übergibt der Code ihn in der Proxy-URL. quote kodiert Zeichen wie @ und : in Login und Passwort, sonst würde requests die URL an der falschen Stelle trennen. Fügen Sie eine Zeile aus dem Kundenbereich in LINE ein.
import requests
from urllib.parse import quote
LINE = "HOST:PORT:LOGIN:PASSWORD"
host, port, login, password = LINE.split(":", 3)
proxy = f"http://{quote(login, safe='')}:{quote(password, safe='')}@{host}:{port}"
for _ in range(3):
answer = requests.get("https://ifconfig.me/ip", proxies={"http": proxy, "https": proxy}, timeout=20)
print(answer.text.strip())Jedes requests.get öffnet eine neue Verbindung, deshalb antwortet eine rotierende Zeile jedes Mal mit einer neuen Adresse. In einer Session hält requests die Verbindung offen, und die Anfragen laufen über eine IP, bis sie geschlossen wird. Eine feste Zeile behält ihre Adresse in beiden Fällen. Für eine SOCKS5-Zeile ändern Sie das Schema auf socks5h://.
Vom Beispiel zum Scraper
- Laden Sie die Liste bei längeren Läufen alle 8 bis 10 Minuten neu. Halten Sie sie in einer Variable und ersetzen Sie sie per Timer, statt sie vor jeder Anfrage herunterzuladen.
- Fangen Sie Timeouts und Verbindungsfehler ab und wiederholen Sie über eine andere Zeile, denn einige Zeilen einer großen Liste sind langsam.
- Halten Sie die Parallelität unter den Threads des Pakets. Bei einem Thread-Pool oder asyncio setzen Sie die Poolgröße unter das Limit.
- Für asyncio nehmen Sie aiohttp mit einem HTTP-Proxy oder ein Paket mit SOCKS-Connector. Die Logik der Rotation bleibt dieselbe.
Mögliche Fehler
- ProxyError oder abgewiesene Verbindung auf jeder Zeile: Der Kundenbereich kennt die Adresse Ihres Rechners noch nicht.
- ProxyError mit "Tunnel connection failed: 407": Login oder Passwort einer Residential-Zeile ist falsch.
- ConnectTimeout oder ReadTimeout: Die Zeile ist langsam oder hat den Pool verlassen, wiederholen Sie über eine andere.
- Ein 403 oder eine Captcha-Seite: Das Ziel begrenzt die Adresse, verteilen Sie die Last auf weitere Zeilen und werden Sie langsamer.
- SSLError über einen Proxy: meist eine defekte Zeile, wiederholen Sie über eine andere.
Nächste Schritte
Die Node.js-Anleitung und die curl-Anleitung zeigen dieselbe Rotation in anderen Sprachen. Pakete und Threads stehen auf der Preisseite, und die kostenlose Proxy-Liste hilft, den Code vor dem Kauf zu testen.