Duas formas de abastecer o ScrapeBox
O ScrapeBox pode colher proxies de uma fonte personalizada ou carregá-los de um arquivo. O harvester serve para sessões curtas: você colhe o link da ProxyMix, move o resultado para a lista de proxies e começa. Sessões longas funcionam melhor com um arquivo que um agendador reescreve a cada 10 minutos, e você o recarrega quando a taxa de erros sobe.
Para um pacote, coloque o endereço do seu computador com ScrapeBox na lista de permitidos do painel da ProxyMix antes da primeira coleta.
Passo a passo
- Abra o Proxy Harvester e adicione o link da sua lista como fonte personalizada.
- Faça a colheita e mova o resultado para a lista de proxies da janela principal.
- Marque os proxies como SOCKS nas configurações de proxy, ou use as linhas como HTTP.
- Defina o máximo de conexões sem passar das threads do pacote.
- Em sessões de mais de uma hora, colha de novo a cada 10 minutos ou carregue o arquivo que o agendador mantém atualizado.
Um arquivo sempre atualizado
A linha de crontab abaixo baixa a lista a cada dez minutos e só substitui o arquivo depois de um download completo. No Windows, o Agendador de Tarefas faz o mesmo download na mesma frequência.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtConexões e buscadores
O ScrapeBox abre muitas conexões por buscador, e os buscadores bloqueiam rápido. Mantenha as conexões por buscador moderadas, use uma lista maior e deixe o harvester espalhar as requisições por mais endereços. As threads do pacote limitam o total de todos os buscadores.
Pule o teste de proxies embutido depois de cada colheita. O pool entrega endereços que funcionam, e testar milhares de linhas só gasta threads.
Dicas
- Muitos proxies marcados como falhos? Reduza primeiro as conexões: as extras são recusadas e parecem linhas mortas.
- Use o pool CEI para o Yandex e o World MIX para o Google.
- Salve as listas colhidas com a data no nome do arquivo, para nunca carregar uma cópia velha.
Trabalhos do ScrapeBox que combinam com a lista
- Colher URLs dos resultados de busca de uma lista de palavras-chave.
- Verificar quais páginas um buscador indexou.
- Coletar sugestões de palavras-chave e checar backlinks.
- Checar em massa os códigos de resposta de listas de URLs.
Todos enviam muitas requisições curtas. Quanto mais linhas a lista tiver, menos requisições cada endereço recebe.
Linhas residenciais no ScrapeBox
O ScrapeBox lê proxies com login como host:port:login:password, o mesmo formato que o painel entrega, então cole as linhas como estão pela área de transferência. Use-as como proxies HTTP: crie linhas HTTP no painel e deixe a marcação SOCKS desligada.
Uma linha “País” rotativa espalha as requisições do harvester por endereços domésticos quando um buscador bloqueia faixas de data center. A coleta baixa muitas páginas de resultados e o tráfego residencial é cobrado por gigabyte, então coletas em massa saem mais baratas em um pacote.
Teste antes de comprar
Depois que a sua conta for verificada, peça ao suporte uma hora grátis e faça uma coleta real. Os limites de threads estão na página de preços, e o guia de curl mostra a mesma lista em scripts de shell.