proxymix
Ejemplos de código

Rotación de proxies en Python: urllib, requests y SOCKS5

Dos ejemplos que funcionan: uno usa solo la biblioteca estándar, el otro requests con SOCKS5. Ambos toman una línea al azar de su lista para cada petición.

Qué necesita

Python 3 y el enlace de una lista de ProxyMix para un paquete, o una línea residencial del panel. Para un paquete, permita en el panel la dirección de la máquina con el script; los proxies la reconocen, así que ese código no pasa logins. El primer ejemplo usa solo la biblioteca estándar y funciona en cualquier Python 3. El segundo usa requests con soporte de SOCKS5.

Instale los paquetes del segundo ejemplo: pip install "requests[socks]".

Biblioteca estándar y un proxy HTTP

El script descarga la lista una vez, elige una línea al azar y envía una petición por ella. La respuesta de ifconfig.me enseña la dirección que ven los sitios.

Biblioteca estándar, HTTP
import random
from urllib.request import ProxyHandler, build_opener, urlopen

LIST_URL = "YOUR_LIST_LINK"

lines = urlopen(LIST_URL, timeout=30).read().decode().split()
picked = random.choice(lines)
endpoint = f"http://{picked}"
opener = build_opener(ProxyHandler(dict.fromkeys(("http", "https"), endpoint)))
seen_as = opener.open("https://ifconfig.me/ip", timeout=20).read().decode()
print(f"{picked} -> {seen_as}")

requests con SOCKS5

El segundo ejemplo envía tres peticiones, cada una por su propio proxy al azar. Con el esquema socks5h el proxy resuelve también los nombres de dominio, y su servidor no envía ninguna consulta DNS al destino.

requests con SOCKS5
import random
import requests

LIST_URL = "YOUR_LIST_LINK"

pool = requests.get(LIST_URL, timeout=30).text.split()
with requests.Session() as session:
    for line in random.sample(pool, k=min(3, len(pool))):
        session.proxies = dict.fromkeys(("http", "https"), f"socks5h://{line}")
        answer = session.get("https://ifconfig.me/ip", timeout=20)
        print(f"{line} -> {answer.text.strip()}")

Líneas residenciales con login

Una línea residencial lleva su propio login, así que el código lo pasa en la URL del proxy. quote codifica caracteres como @ y : en el login y la contraseña; si no, requests partiría la URL en el lugar equivocado. Pegue una línea del panel en LINE.

requests con una línea residencial
import requests
from urllib.parse import quote

LINE = "HOST:PORT:LOGIN:PASSWORD"

host, port, login, password = LINE.split(":", 3)
proxy = f"http://{quote(login, safe='')}:{quote(password, safe='')}@{host}:{port}"
for _ in range(3):
    answer = requests.get("https://ifconfig.me/ip", proxies={"http": proxy, "https": proxy}, timeout=20)
    print(answer.text.strip())

Cada requests.get abre una conexión nueva, así que una línea rotativa responde cada vez con una dirección nueva. Dentro de una Session, requests mantiene viva la conexión, y las peticiones salen por una IP hasta que se cierra. Una línea fija conserva su dirección en ambos casos. Para una línea SOCKS5, cambie el esquema a socks5h://.

Del ejemplo a un scraper

  • En procesos largos vuelva a descargar la lista una vez cada 8 a 10 minutos. Guárdela en una variable y reemplácela con un temporizador, en lugar de descargarla antes de cada petición.
  • Capture los tiempos de espera agotados y los errores de conexión y reintente por otra línea, ya que algunas líneas de una lista grande serán lentas.
  • Mantenga la concurrencia por debajo de los hilos del paquete. Con un pool de hilos o asyncio, fije el tamaño del pool por debajo del límite.
  • Para asyncio use aiohttp con un proxy HTTP o un paquete con conector SOCKS. La lógica de rotación es la misma.

Errores que puede ver

  • ProxyError o conexión rechazada en todas las líneas: el panel aún no tiene la dirección de su máquina.
  • ProxyError con "Tunnel connection failed: 407": el login o la contraseña de una línea residencial son incorrectos.
  • ConnectTimeout o ReadTimeout: la línea es lenta o salió del pool, reintente por otra.
  • Un 403 o una página con captcha: el destino limita la dirección, así que reparta la carga entre más líneas y baje el ritmo.
  • SSLError a través de un proxy: suele ser una línea rota, reintente por otra.

Siguientes pasos

La guía de Node.js y la guía de curl muestran la misma rotación en otros lenguajes. Los paquetes y los hilos están en la página de precios, y la lista de proxies gratis ayuda a probar el código antes de comprar.

Preguntas

Preguntas

Todas las preguntas
¿Cada cuánto debe recargar la lista el script?

Cada 8 a 10 minutos en procesos largos. Un script corto puede cargarla una vez al empezar.

¿Y con asyncio?

Haga lo mismo con aiohttp: guarde las líneas en una variable y dé a cada petición su propio proxy.

¿Qué esquema de proxy uso en requests?

socks5h cuando el proxy deba resolver los nombres de dominio, http:// para proxies HTTP simples. Ambos funcionan con cualquier línea de paquete.

¿Cómo paso un login residencial en requests?

Póngalo en la URL del proxy como http://login:password@host:port y codifique el login y la contraseña con urllib.parse.quote.

¿Listo para probar?

Recarga el saldo, crea una lista del tipo y país que necesitas y prueba el pool en tu sitio. 1 GB de prueba cuesta desde $0,27 y el tráfico dura tres meses.

Armar pedido