proxymix
Exemplos de código

Rotação de proxies em Python: urllib, requests e SOCKS5

Dois exemplos que funcionam: um usa só a biblioteca padrão, o outro usa requests com SOCKS5. Os dois pegam uma linha aleatória da sua lista para cada requisição.

O que você precisa

Python 3 e um link de lista da ProxyMix para um pacote, ou uma linha residencial do painel. Para um pacote, libere no painel o endereço da máquina com o script; os proxies o reconhecem, então esse código não passa logins. O primeiro exemplo usa só a biblioteca padrão e roda em qualquer Python 3. O segundo usa requests com suporte a SOCKS5.

Instale os pacotes do segundo exemplo: pip install "requests[socks]".

Biblioteca padrão e um proxy HTTP

O script baixa a lista uma vez, escolhe uma linha aleatória e envia uma requisição por ela. A resposta do ifconfig.me exibe o endereço que os sites veem.

Biblioteca padrão, HTTP
import random
from urllib.request import ProxyHandler, build_opener, urlopen

LIST_URL = "YOUR_LIST_LINK"

lines = urlopen(LIST_URL, timeout=30).read().decode().split()
picked = random.choice(lines)
endpoint = f"http://{picked}"
opener = build_opener(ProxyHandler(dict.fromkeys(("http", "https"), endpoint)))
seen_as = opener.open("https://ifconfig.me/ip", timeout=20).read().decode()
print(f"{picked} -> {seen_as}")

requests com SOCKS5

O segundo exemplo envia três requisições, cada uma pelo seu próprio proxy aleatório. Com o esquema socks5h, o proxy é quem resolve os nomes de domínio, e o seu servidor não envia nenhuma consulta DNS ao destino.

requests com SOCKS5
import random
import requests

LIST_URL = "YOUR_LIST_LINK"

pool = requests.get(LIST_URL, timeout=30).text.split()
with requests.Session() as session:
    for line in random.sample(pool, k=min(3, len(pool))):
        session.proxies = dict.fromkeys(("http", "https"), f"socks5h://{line}")
        answer = session.get("https://ifconfig.me/ip", timeout=20)
        print(f"{line} -> {answer.text.strip()}")

Linhas residenciais com login

Uma linha residencial traz o próprio login, então o código o passa na URL do proxy. quote codifica caracteres como @ e : no login e na senha; sem isso, o requests dividiria a URL no lugar errado. Cole uma linha do painel em LINE.

requests com uma linha residencial
import requests
from urllib.parse import quote

LINE = "HOST:PORT:LOGIN:PASSWORD"

host, port, login, password = LINE.split(":", 3)
proxy = f"http://{quote(login, safe='')}:{quote(password, safe='')}@{host}:{port}"
for _ in range(3):
    answer = requests.get("https://ifconfig.me/ip", proxies={"http": proxy, "https": proxy}, timeout=20)
    print(answer.text.strip())

Cada requests.get abre uma conexão nova, então uma linha rotativa responde sempre com um endereço novo. Dentro de uma Session, o requests mantém a conexão viva, e as requisições saem por um IP até ela fechar. Uma linha fixa mantém o endereço nos dois casos. Para uma linha SOCKS5, troque o esquema para socks5h://.

Do exemplo a um scraper

  • Em execuções longas, baixe a lista de novo a cada 8 a 10 minutos. Guarde-a em uma variável e substitua com um temporizador, em vez de baixar antes de cada requisição.
  • Capture timeouts e erros de conexão e repita por outra linha, já que algumas linhas de uma lista grande vão ser lentas.
  • Mantenha a concorrência abaixo das threads do pacote. Com um pool de threads ou asyncio, defina o tamanho do pool abaixo do limite.
  • Para asyncio use aiohttp com um proxy HTTP ou um pacote com conector SOCKS. A lógica de rotação é a mesma.

Erros que podem aparecer

  • ProxyError ou conexão recusada em todas as linhas: o painel ainda não tem o endereço da sua máquina.
  • ProxyError com "Tunnel connection failed: 407": o login ou a senha de uma linha residencial está errado.
  • ConnectTimeout ou ReadTimeout: a linha está lenta ou saiu do pool, tente por outra.
  • Um 403 ou uma página com captcha: o destino limita o endereço, então espalhe a carga por mais linhas e reduza o ritmo.
  • SSLError por um proxy: normalmente uma linha quebrada, tente por outra.

Próximos passos

O guia de Node.js e o guia de curl mostram a mesma rotação em outras linguagens. Pacotes e threads estão na página de preços, e a lista de proxies grátis ajuda a testar o código antes de comprar.

Perguntas

Perguntas

Todas as perguntas
Com que frequência o script deve recarregar a lista?

A cada 8 a 10 minutos em execuções longas. Um script curto pode carregar uma vez no início.

E com asyncio?

Faça o mesmo com aiohttp: guarde as linhas em uma variável e dê a cada requisição o seu próprio proxy.

Qual esquema de proxy uso no requests?

socks5h quando o proxy deve resolver os nomes de domínio, http:// para proxies HTTP simples. Os dois funcionam com qualquer linha de pacote.

Como passo um login residencial no requests?

Coloque-o na URL do proxy como http://login:password@host:port e codifique o login e a senha com urllib.parse.quote.

Pronto para testar?

Recarregue o saldo, crie uma lista do tipo e país desejados e teste o pool no seu site. 1 GB de teste custa desde $0,27 e o tráfego vale por três meses.

Montar pedido