Gerekenler
Python 3 ve paket için bir ProxyMix liste bağlantısı ya da panelden bir residential satırı. Paket için betiğin çalıştığı makinenin adresine panelde izin verin; proxy'ler onu tanır, bu yüzden o kod giriş bilgisi geçirmez. İlk örnek yalnızca standart kütüphaneyi kullanır ve her Python 3'te çalışır. İkincisi SOCKS5 destekli requests kullanır.
İkinci örneğin paketlerini kurun: pip install "requests[socks]".
Standart kütüphane ve bir HTTP proxy
Betik listeyi bir kez indirir, rastgele bir satır seçer ve onun üzerinden bir istek gönderir. ifconfig.me'nin yanıtı sitelerin gördüğü adresi gösterir.
import random
from urllib.request import ProxyHandler, build_opener, urlopen
LIST_URL = "YOUR_LIST_LINK"
lines = urlopen(LIST_URL, timeout=30).read().decode().split()
picked = random.choice(lines)
endpoint = f"http://{picked}"
opener = build_opener(ProxyHandler(dict.fromkeys(("http", "https"), endpoint)))
seen_as = opener.open("https://ifconfig.me/ip", timeout=20).read().decode()
print(f"{picked} -> {seen_as}")SOCKS5'li requests
İkinci örnek her biri kendi rastgele proxy'siyle üç istek gönderir. socks5h şemasıyla alan adlarını proxy çözümler ve sunucunuz hedefe hiçbir DNS sorgusu göndermez.
import random
import requests
LIST_URL = "YOUR_LIST_LINK"
pool = requests.get(LIST_URL, timeout=30).text.split()
with requests.Session() as session:
for line in random.sample(pool, k=min(3, len(pool))):
session.proxies = dict.fromkeys(("http", "https"), f"socks5h://{line}")
answer = session.get("https://ifconfig.me/ip", timeout=20)
print(f"{line} -> {answer.text.strip()}")Giriş bilgili residential satırlar
Residential satır kendi giriş bilgisini taşır, bu yüzden kod onu proxy URL'sinde geçirir. quote, giriş adı ve şifredeki @ ve : gibi karakterleri kodlar; aksi halde requests URL'yi yanlış yerden böler. Panelden bir satırı LINE içine yapıştırın.
import requests
from urllib.parse import quote
LINE = "HOST:PORT:LOGIN:PASSWORD"
host, port, login, password = LINE.split(":", 3)
proxy = f"http://{quote(login, safe='')}:{quote(password, safe='')}@{host}:{port}"
for _ in range(3):
answer = requests.get("https://ifconfig.me/ip", proxies={"http": proxy, "https": proxy}, timeout=20)
print(answer.text.strip())Her requests.get yeni bir bağlantı açar, bu yüzden dönen satır her seferinde yeni bir adresle yanıt verir. Bir Session içinde requests bağlantıyı canlı tutar ve istekler kapanana kadar tek bir IP'den çıkar. Sabit satır her iki durumda da adresini korur. SOCKS5 satırı için şemayı socks5h:// yapın.
Örnekten scraper'a
- Uzun çalışmalarda listeyi 8 ila 10 dakikada bir yeniden indirin. Her istekten önce indirmek yerine bir değişkende tutun ve zamanlayıcıyla değiştirin.
- Zaman aşımlarını ve bağlantı hatalarını yakalayıp başka bir satırla yeniden deneyin, çünkü büyük bir listenin bazı satırları yavaş olacaktır.
- Eşzamanlılığı paketin thread sayısının altında tutun. Bir thread havuzu veya asyncio kullanıyorsanız havuz boyutunu sınırın altına ayarlayın.
- asyncio için HTTP proxy'li aiohttp'yi veya bir SOCKS connector paketini kullanın. Rotasyon mantığı aynı kalır.
Karşılaşabileceğiniz hatalar
- Her satırda ProxyError veya reddedilen bağlantı: panel makinenizin adresini henüz bilmiyor.
- "Tunnel connection failed: 407" içeren ProxyError: residential satırın giriş adı veya şifresi yanlış.
- ConnectTimeout veya ReadTimeout: satır yavaş veya havuzdan çıkmış, başka biriyle yeniden deneyin.
- 403 veya captcha sayfası: hedef adresi sınırlıyor, yükü daha fazla satıra yayın ve yavaşlayın.
- Proxy üzerinden SSLError: genellikle bozuk bir satırdır, başka biriyle yeniden deneyin.
Sonraki adımlar
Node.js rehberi ve curl rehberi aynı rotasyonu başka dillerde gösterir. Paketler ve thread'ler fiyat sayfasında, ücretsiz proxy listesi de kodu satın almadan önce test etmeye yardım eder.