O que você precisa
curl e coreutils, presentes em qualquer servidor Linux e no macOS com Homebrew. O curl trabalha com proxies HTTP e SOCKS5 com uma única opção, -x. Para um pacote, libere primeiro o endereço dessa máquina no painel da ProxyMix; depois disso os proxies não precisam de logins.
Uma requisição por um proxy aleatório
O primeiro script baixa a lista, pega uma linha aleatória com shuf e envia uma requisição por ela. O tr remove as quebras de linha do Windows se aparecerem.
LIST_URL="YOUR_LIST_LINK"
PROXY=$(curl -fsS "$LIST_URL" | tr -d '\r' | shuf -n 1)
curl -x "socks5h://$PROXY" https://ifconfig.me/ipUm loop por muitas URLs
O segundo script lê urls.txt e envia cada URL pelo seu próprio proxy aleatório. Ele imprime o código HTTP, a URL e o proxy, então as falhas aparecem na hora.
LIST_URL="YOUR_LIST_LINK"
curl -fsS "$LIST_URL" | tr -d '\r' > proxies.txt
while read -r url; do
proxy=$(shuf -n 1 proxies.txt)
curl -s -m 20 -x "socks5h://$proxy" -o /dev/null -w "%{http_code} $url via $proxy\n" "$url"
done < urls.txtUm arquivo de lista que o cron mantém atualizado
Para programas que leem um arquivo, esta linha baixa a lista a cada dez minutos e só substitui o arquivo depois de um download completo.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtLinhas residenciais com login
O curl recebe o login de uma linha residencial com -U, então a senha não precisa ser codificada mesmo com : ou @. O script divide a linha, envia três requisições e mostra o endereço de onde cada uma veio.
LINE="HOST:PORT:LOGIN:PASSWORD"
SCHEME="http"
IFS=: read -r GATE GATE_PORT USER_ID USER_KEY <<< "$LINE"
for i in 1 2 3; do
curl -sS -m 20 -x "$SCHEME://$GATE:$GATE_PORT" -U "$USER_ID:$USER_KEY" https://ifconfig.me/ip
echo
doneCada chamada do curl abre uma conexão nova, então uma linha rotativa mostra um IP diferente a cada requisição e uma linha fixa mostra sempre o mesmo. Para uma linha SOCKS5, defina SCHEME="socks5h": o -U também funciona para logins SOCKS5.
Requisições em paralelo
O loop envia uma requisição de cada vez. Para ir mais rápido, passe as URLs para xargs -P ou para o GNU parallel e mantenha o número de processos dentro das threads do pacote. Troque socks5h:// por http:// na opção -x se um destino funcionar melhor com HTTP.
Como ler os erros do curl
- Código de saída 7: o curl não conseguiu chegar ao proxy. Confira se o painel tem o endereço desta máquina.
- Código de saída 56 com "CONNECT tunnel failed, response 407": o login ou a senha de uma linha residencial está errado.
- Código de saída 28: a requisição estourou o tempo. A linha está lenta, então tente por outra ou aumente
-m. - Código de saída 97: o handshake SOCKS falhou. Tente por outra linha ou mude para
http://. - HTTP 403 ou 429 do destino: o site limita o endereço, então espalhe as requisições por mais linhas.
Próximos passos
Para um scraper completo, veja o guia de Python ou o guia de Node.js. Programas como o ScrapeBox e o Key Collector leem o mesmo arquivo que o cron mantém atualizado.