proxymix
Kod örnekleri

Python’da proxy rotasyonu: urllib, requests ve SOCKS5

Çalışan iki örnek: biri yalnızca standart kütüphaneyi, diğeri SOCKS5'li requests'i kullanır. İkisi de her istek için listenizden rastgele bir satır alır.

Gerekenler

Python 3 ve paket için bir ProxyMix liste bağlantısı ya da panelden bir residential satırı. Paket için betiğin çalıştığı makinenin adresine panelde izin verin; proxy'ler onu tanır, bu yüzden o kod giriş bilgisi geçirmez. İlk örnek yalnızca standart kütüphaneyi kullanır ve her Python 3'te çalışır. İkincisi SOCKS5 destekli requests kullanır.

İkinci örneğin paketlerini kurun: pip install "requests[socks]".

Standart kütüphane ve bir HTTP proxy

Betik listeyi bir kez indirir, rastgele bir satır seçer ve onun üzerinden bir istek gönderir. ifconfig.me'nin yanıtı sitelerin gördüğü adresi gösterir.

Standart kütüphane, HTTP
import random
from urllib.request import ProxyHandler, build_opener, urlopen

LIST_URL = "YOUR_LIST_LINK"

lines = urlopen(LIST_URL, timeout=30).read().decode().split()
picked = random.choice(lines)
endpoint = f"http://{picked}"
opener = build_opener(ProxyHandler(dict.fromkeys(("http", "https"), endpoint)))
seen_as = opener.open("https://ifconfig.me/ip", timeout=20).read().decode()
print(f"{picked} -> {seen_as}")

SOCKS5'li requests

İkinci örnek her biri kendi rastgele proxy'siyle üç istek gönderir. socks5h şemasıyla alan adlarını proxy çözümler ve sunucunuz hedefe hiçbir DNS sorgusu göndermez.

SOCKS5'li requests
import random
import requests

LIST_URL = "YOUR_LIST_LINK"

pool = requests.get(LIST_URL, timeout=30).text.split()
with requests.Session() as session:
    for line in random.sample(pool, k=min(3, len(pool))):
        session.proxies = dict.fromkeys(("http", "https"), f"socks5h://{line}")
        answer = session.get("https://ifconfig.me/ip", timeout=20)
        print(f"{line} -> {answer.text.strip()}")

Giriş bilgili residential satırlar

Residential satır kendi giriş bilgisini taşır, bu yüzden kod onu proxy URL'sinde geçirir. quote, giriş adı ve şifredeki @ ve : gibi karakterleri kodlar; aksi halde requests URL'yi yanlış yerden böler. Panelden bir satırı LINE içine yapıştırın.

residential satırla requests
import requests
from urllib.parse import quote

LINE = "HOST:PORT:LOGIN:PASSWORD"

host, port, login, password = LINE.split(":", 3)
proxy = f"http://{quote(login, safe='')}:{quote(password, safe='')}@{host}:{port}"
for _ in range(3):
    answer = requests.get("https://ifconfig.me/ip", proxies={"http": proxy, "https": proxy}, timeout=20)
    print(answer.text.strip())

Her requests.get yeni bir bağlantı açar, bu yüzden dönen satır her seferinde yeni bir adresle yanıt verir. Bir Session içinde requests bağlantıyı canlı tutar ve istekler kapanana kadar tek bir IP'den çıkar. Sabit satır her iki durumda da adresini korur. SOCKS5 satırı için şemayı socks5h:// yapın.

Örnekten scraper'a

  • Uzun çalışmalarda listeyi 8 ila 10 dakikada bir yeniden indirin. Her istekten önce indirmek yerine bir değişkende tutun ve zamanlayıcıyla değiştirin.
  • Zaman aşımlarını ve bağlantı hatalarını yakalayıp başka bir satırla yeniden deneyin, çünkü büyük bir listenin bazı satırları yavaş olacaktır.
  • Eşzamanlılığı paketin thread sayısının altında tutun. Bir thread havuzu veya asyncio kullanıyorsanız havuz boyutunu sınırın altına ayarlayın.
  • asyncio için HTTP proxy'li aiohttp'yi veya bir SOCKS connector paketini kullanın. Rotasyon mantığı aynı kalır.

Karşılaşabileceğiniz hatalar

  • Her satırda ProxyError veya reddedilen bağlantı: panel makinenizin adresini henüz bilmiyor.
  • "Tunnel connection failed: 407" içeren ProxyError: residential satırın giriş adı veya şifresi yanlış.
  • ConnectTimeout veya ReadTimeout: satır yavaş veya havuzdan çıkmış, başka biriyle yeniden deneyin.
  • 403 veya captcha sayfası: hedef adresi sınırlıyor, yükü daha fazla satıra yayın ve yavaşlayın.
  • Proxy üzerinden SSLError: genellikle bozuk bir satırdır, başka biriyle yeniden deneyin.

Sonraki adımlar

Node.js rehberi ve curl rehberi aynı rotasyonu başka dillerde gösterir. Paketler ve thread'ler fiyat sayfasında, ücretsiz proxy listesi de kodu satın almadan önce test etmeye yardım eder.

Sorular

Sorular

Tüm sorular
Betik listeyi ne sıklıkla yeniden yüklemeli?

Uzun çalışmalarda 8 ila 10 dakikada bir. Kısa bir betik başta bir kez yükleyebilir.

asyncio ile ne olacak?

aiohttp ile aynı yaklaşımı kullanın: satırları bir değişkende tutun ve her isteğe kendi proxy'sini verin.

requests'te hangi proxy şemasını kullanmalıyım?

Proxy alan adlarını çözsün istiyorsanız socks5h, düz HTTP proxy'ler için http://. İkisi de her paket satırıyla çalışır.

requests'te residential giriş bilgisini nasıl geçiririm?

Proxy URL'sine http://login:password@host:port olarak yazın ve giriş adı ile şifreyi urllib.parse.quote ile kodlayın.

Denemeye hazır mısınız?

Bakiye yükleyin, istediğiniz tür ve ülke için liste oluşturun ve havuzu kendi sitenizde deneyin. Deneme için 1 GB en az $0,27, trafik üç ay geçerli.

Sipariş oluştur