Qué necesita
curl y coreutils, presentes en cualquier servidor Linux y en macOS con Homebrew. curl habla con proxies HTTP y SOCKS5 con un solo flag, -x. Para un paquete, permita primero la dirección de esa máquina en el panel de ProxyMix; después los proxies no necesitan logins.
Una petición por un proxy al azar
El primer script descarga la lista, toma una línea al azar con shuf y envía una petición por ella. tr elimina los finales de línea de Windows si aparecen.
LIST_URL="YOUR_LIST_LINK"
PROXY=$(curl -fsS "$LIST_URL" | tr -d '\r' | shuf -n 1)
curl -x "socks5h://$PROXY" https://ifconfig.me/ipUn bucle sobre muchas URL
El segundo script lee urls.txt y envía cada URL por su propio proxy al azar. Muestra el código HTTP, la URL y el proxy, así que los fallos se ven al momento.
LIST_URL="YOUR_LIST_LINK"
curl -fsS "$LIST_URL" | tr -d '\r' > proxies.txt
while read -r url; do
proxy=$(shuf -n 1 proxies.txt)
curl -s -m 20 -x "socks5h://$proxy" -o /dev/null -w "%{http_code} $url via $proxy\n" "$url"
done < urls.txtUn archivo de lista que cron mantiene al día
Para programas que leen un archivo, esta línea descarga la lista cada 10 minutos y sustituye el archivo solo tras una descarga completa.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtLíneas residenciales con login
curl recibe el login de una línea residencial con -U, así que la contraseña no necesita codificación aunque lleve : o @. El script divide la línea, envía tres peticiones e imprime la dirección de la que vino cada una.
LINE="HOST:PORT:LOGIN:PASSWORD"
SCHEME="http"
IFS=: read -r GATE GATE_PORT USER_ID USER_KEY <<< "$LINE"
for i in 1 2 3; do
curl -sS -m 20 -x "$SCHEME://$GATE:$GATE_PORT" -U "$USER_ID:$USER_KEY" https://ifconfig.me/ip
echo
doneCada llamada a curl abre una conexión nueva, así que una línea rotativa muestra una IP distinta en cada petición y una línea fija muestra siempre la misma. Para una línea SOCKS5, ponga SCHEME="socks5h": -U también sirve para logins SOCKS5.
Peticiones en paralelo
El bucle envía una petición tras otra. Para ir más rápido, pase las URL a xargs -P o a GNU parallel y mantenga el número de procesos dentro de los hilos del paquete. Cambie socks5h:// por http:// en el parámetro -x si un destino funciona mejor con HTTP.
Cómo leer los errores de curl
- Código de salida 7: curl no pudo llegar al proxy. Asegúrese de que el panel tiene la dirección de esta máquina.
- Código de salida 56 con "CONNECT tunnel failed, response 407": el login o la contraseña de una línea residencial son incorrectos.
- Código de salida 28: la petición agotó el tiempo. La línea es lenta, así que reintente por otra o suba
-m. - Código de salida 97: falló el saludo SOCKS. Reintente por otra línea o cambie a
http://. - HTTP 403 o 429 del destino: el sitio limita la dirección, así que reparta las peticiones entre más líneas.
Siguientes pasos
Para un scraper completo, vea la guía de Python o la guía de Node.js. Programas como ScrapeBox y Key Collector leen el mismo archivo que cron mantiene al día.