Quando as ferramentas da Netpeak precisam de proxies
O Netpeak Spider rastreia sites, e o Netpeak Checker busca resultados de pesquisa e métricas para listas de URLs e palavras-chave. Uma auditoria do seu próprio site raramente precisa de proxies. Rastreios de grandes sites concorrentes e verificações em massa nos buscadores precisam: sem proxies, o destino ou o buscador limita o seu IP, e o trabalho desacelera ou para.
As duas ferramentas recebem uma lista de proxies nas configurações e a alternam entre as requisições. Para um pacote, libere primeiro o endereço do seu computador no painel da ProxyMix.
Passo a passo
- Baixe a lista para um arquivo ou copie a partir do link.
- Abra as configurações de proxy no Spider ou no Checker e carregue a lista do arquivo ou da área de transferência.
- Use as linhas como proxies HTTP: o Spider aceita uma lista de proxies HTTP, e toda porta de pacote responde a HTTP.
- Ajuste as threads abaixo do limite do pacote.
- Faça um rastreio de teste curto e veja a proporção de erros.
Configurações do Spider e do Checker
O Spider manda requisições para um site só, então a velocidade do rastreio depende de quantas requisições esse site tolera por endereço. Aumente as threads aos poucos e fique de olho nas respostas 429 e 403. O Checker distribui as requisições entre buscadores e serviços e é o que mais ganha com uma lista longa.
Requisições por um proxy demoram mais do que as diretas. Aumente um pouco o timeout e acrescente threads para manter o ritmo.
Um arquivo sempre atualizado
A cópia de ontem da lista tem muitas linhas mortas. Recarregue antes de cada trabalho grande, ou mantenha um arquivo que um agendador reescreve a cada 10 minutos:
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtDicas
- Use o mesmo arquivo para o Spider e o Checker.
- Escolha o World MIX para verificações globais de busca e o pool Europa ou CEI para resultados locais.
- Desligue os proxies nas auditorias do seu próprio site para manter o rastreio simples.
Trabalhos típicos
- Rastrear um grande site concorrente sem bater no limite por IP dele.
- Checar posições e snippets de milhares de palavras-chave no Checker.
- Buscar métricas de listas de URLs em buscadores e serviços.
- Ver como um site responde a visitantes de países diferentes.
Linhas residenciais no Netpeak
O Spider aceita uma lista de linhas host:port:login:password, o mesmo formato que o painel entrega, mas o host tem de ser um endereço IPv4. Rode nslookup no host de uma linha residencial e coloque o IP no lugar dele. Use linhas HTTP.
Uma linha “País” com um país escolhido mostra como um site responde a visitantes desse país, e o Checker pode puxar resultados de busca por endereços domésticos quando um buscador bloqueia faixas de data center. Rastreamentos baixam páginas inteiras, então estime os gigabytes antes de uma execução grande.
Teste primeiro
Depois que a sua conta for verificada, peça ao suporte uma hora grátis e rastreie um alvo real. Compare pacotes na página de preços e, para crawlers próprios, veja o guia de Python.