proxymix
Configurar programas

Proxies para o A-Parser: ajuste de pacotes e residenciais

O A-Parser pega proxies de uma URL e os recarrega com um temporizador, então trabalha direto com um link de lista da ProxyMix, sem arquivos. Linhas residenciais se conectam com login nas configurações do verificador de proxies.

Por que o A-Parser e um link de lista combinam

O A-Parser carrega proxies de uma URL e os recarrega com um temporizador. Um pacote da ProxyMix é exatamente isso: o link normal devolve a parte ativa do pool em linhas ip:port de texto puro. Você cola o link uma vez, e cada recarga traz endereços novos, sem arquivos nem limpeza manual.

Para um pacote, coloque primeiro o endereço do seu servidor A-Parser na lista de permitidos do painel da ProxyMix. Os proxies confiam nesse endereço, então a lista não traz logins e o A-Parser se conecta direto a cada linha.

Passo a passo

  1. Abra as configurações do verificador de proxies e crie um preset ou edite o padrão.
  2. Adicione o link da sua lista da ProxyMix como fonte de proxies.
  3. Defina o intervalo de recarga em 10 minutos.
  4. Escolha SOCKS5 como tipo de proxy, ou HTTP se algum parser precisar.
  5. Em cada tarefa escolha esse preset e ajuste as threads para que todas as tarefas em execução fiquem juntas dentro do limite do pacote.

Os nomes dos menus mudam entre versões do A-Parser. Se um passo parecer diferente na sua, procure as configurações do verificador de proxies e a lista de fontes de proxies.

Threads em várias tarefas

O A-Parser conta threads por tarefa, e a ProxyMix conta conexões abertas por pacote. Três tarefas de 500 threads precisam de um pacote com pelo menos 1.500 threads e uma margem. Acima do limite os proxies recusam as conexões extras, e o A-Parser marca como ruins linhas que funcionam.

Divida trabalhos grandes em várias tarefas com menos threads cada. A carga fica equilibrada, e você pode parar uma tarefa sem mexer nas outras. Pacotes de 2.000 a 5.000 threads estão na página de preços.

Parsers de buscadores

Parsers do Google, Yandex e outros buscadores esbarram em captchas antes dos rastreadores de sites. Uma lista maior ajuda: com milhares de linhas, cada endereço envia só algumas consultas. Escolha o pool pelo buscador: World MIX para o Google, o pool CEI para o Yandex, Europa para domínios locais do Google na UE.

Mantenha leve a verificação de proxies embutida. O pool já descarta endereços mortos, e uma verificação pesada antes de cada início só atrasa o trabalho.

Dicas

  • Acompanhe a proporção de requisições com falha no log da tarefa. Um salto repentino normalmente significa que o total de threads passou do limite.
  • Tenha um preset do verificador de proxies para cada pool se você comprou vários pacotes.
  • Deixe a recarga em 10 minutos. Recargas mais rápidas são desaceleradas e não trazem linhas mais novas.

Como ler o log da tarefa

O A-Parser grava cada requisição com falha no log da tarefa. Um captcha ou um 403 indica que o destino percebeu requisições demais de um endereço: acrescente linhas ou reduza as threads. Timeouts apontam linhas lentas, e uma nova tentativa por outro proxy normalmente resolve. Se todas as linhas recusam a conexão, o painel conhece outro endereço: descubra qual o seu servidor usa para o tráfego de saída e autorize esse.

Linhas residenciais no A-Parser

Use proxies residenciais para alvos que bloqueiam faixas de data center, com uma linha “País” do país que você precisa. Uma linha rotativa recebe um endereço novo a cada nova conexão, então uma linha atende todas as threads de uma tarefa.

  1. Crie um preset do verificador de proxies para a linha residencial.
  2. Coloque o host e a porta da linha na lista de proxies como host:port.
  3. Ative Use proxy authorization e preencha Authorization login e Authorization password com os dados da linha.
  4. Escolha o tipo de proxy que corresponde à linha: HTTP ou SOCKS5.
  5. Selecione esse preset nas tarefas que precisam de endereços domésticos.

Várias linhas com logins diferentes entram na lista como login:password@host:port, uma por linha, e aí basta o Use proxy authorization. O tráfego residencial é cobrado por gigabyte, então deixe em um pacote os parsers pesados que baixam páginas inteiras.

Teste antes de pagar

Peça ao suporte um teste grátis de uma hora de qualquer pacote e rode nele uma tarefa real do A-Parser. Pagamento, pausas e frequência de atualização estão nas perguntas frequentes, e scrapers em código, no guia de Python.

Perguntas

Perguntas

Todas as perguntas
Preciso verificar os proxies no A-Parser?

O pool já remove os endereços mortos. Uma verificação leve tudo bem, mas uma pesada só atrasa o início.

Quantas threads posso rodar?

Quantas o seu pacote permitir no total entre todas as tarefas, de 300 a 5.000.

O A-Parser consegue usar as linhas SOCKS5?

Sim. Cada porta fala SOCKS5 e HTTP, então escolha o tipo nas configurações do verificador de proxies.

O A-Parser funciona com proxies residenciais?

Sim. Ou host:port na lista e o login e a senha no verificador de proxies com Use proxy authorization ativado, ou linhas no formato login:password@host:port.

Pronto para testar?

Recarregue o saldo, crie uma lista do tipo e país desejados e teste o pool no seu site. 1 GB de teste custa desde $0,27 e o tráfego vale por três meses.

Montar pedido