proxymix
Exemplos de código

curl e bash com lista de proxies: requisições, loops, cron

O curl fala com proxies HTTP e SOCKS5 com uma só opção. Estes scripts pegam linhas aleatórias da sua lista, para um teste rápido ou para um loop em muitas URLs.

O que você precisa

curl e coreutils, presentes em qualquer servidor Linux e no macOS com Homebrew. O curl trabalha com proxies HTTP e SOCKS5 com uma única opção, -x. Para um pacote, libere primeiro o endereço dessa máquina no painel da ProxyMix; depois disso os proxies não precisam de logins.

Uma requisição por um proxy aleatório

O primeiro script baixa a lista, pega uma linha aleatória com shuf e envia uma requisição por ela. O tr remove as quebras de linha do Windows se aparecerem.

Uma requisição por um proxy aleatório
LIST_URL="YOUR_LIST_LINK"
PROXY=$(curl -fsS "$LIST_URL" | tr -d '\r' | shuf -n 1)
curl -x "socks5h://$PROXY" https://ifconfig.me/ip

Um loop por muitas URLs

O segundo script lê urls.txt e envia cada URL pelo seu próprio proxy aleatório. Ele imprime o código HTTP, a URL e o proxy, então as falhas aparecem na hora.

Loop por urls.txt
LIST_URL="YOUR_LIST_LINK"
curl -fsS "$LIST_URL" | tr -d '\r' > proxies.txt
while read -r url; do
  proxy=$(shuf -n 1 proxies.txt)
  curl -s -m 20 -x "socks5h://$proxy" -o /dev/null -w "%{http_code} $url via $proxy\n" "$url"
done < urls.txt

Um arquivo de lista que o cron mantém atualizado

Para programas que leem um arquivo, esta linha baixa a lista a cada dez minutos e só substitui o arquivo depois de um download completo.

crontab
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txt

Linhas residenciais com login

O curl recebe o login de uma linha residencial com -U, então a senha não precisa ser codificada mesmo com : ou @. O script divide a linha, envia três requisições e mostra o endereço de onde cada uma veio.

curl com uma linha residencial
LINE="HOST:PORT:LOGIN:PASSWORD"
SCHEME="http"
IFS=: read -r GATE GATE_PORT USER_ID USER_KEY <<< "$LINE"
for i in 1 2 3; do
  curl -sS -m 20 -x "$SCHEME://$GATE:$GATE_PORT" -U "$USER_ID:$USER_KEY" https://ifconfig.me/ip
  echo
done

Cada chamada do curl abre uma conexão nova, então uma linha rotativa mostra um IP diferente a cada requisição e uma linha fixa mostra sempre o mesmo. Para uma linha SOCKS5, defina SCHEME="socks5h": o -U também funciona para logins SOCKS5.

Requisições em paralelo

O loop envia uma requisição de cada vez. Para ir mais rápido, passe as URLs para xargs -P ou para o GNU parallel e mantenha o número de processos dentro das threads do pacote. Troque socks5h:// por http:// na opção -x se um destino funcionar melhor com HTTP.

Como ler os erros do curl

  • Código de saída 7: o curl não conseguiu chegar ao proxy. Confira se o painel tem o endereço desta máquina.
  • Código de saída 56 com "CONNECT tunnel failed, response 407": o login ou a senha de uma linha residencial está errado.
  • Código de saída 28: a requisição estourou o tempo. A linha está lenta, então tente por outra ou aumente -m.
  • Código de saída 97: o handshake SOCKS falhou. Tente por outra linha ou mude para http://.
  • HTTP 403 ou 429 do destino: o site limita o endereço, então espalhe as requisições por mais linhas.

Próximos passos

Para um scraper completo, veja o guia de Python ou o guia de Node.js. Programas como o ScrapeBox e o Key Collector leem o mesmo arquivo que o cron mantém atualizado.

Perguntas

Perguntas

Todas as perguntas
Como uso HTTP em vez de SOCKS5?

Troque socks5h:// por http:// na opção -x.

Como rodo muitas requisições de uma vez?

Passe as URLs para xargs -P ou para o GNU parallel e mantenha o número de processos dentro das threads do pacote.

Como passo um login residencial ao curl?

Com -U login:password ao lado de -x http://host:port, ou socks5h://host:port para uma linha SOCKS5.

Pronto para testar?

Recarregue o saldo, crie uma lista do tipo e país desejados e teste o pool no seu site. 1 GB de teste custa desde $0,27 e o tráfego vale por três meses.

Montar pedido