Dos formas de alimentar ScrapeBox
ScrapeBox puede cosechar proxies de una fuente propia o cargarlos desde un archivo. El harvester sirve para sesiones cortas: cosecha el enlace de ProxyMix, pasa el resultado a la lista de proxies y empieza. Las sesiones largas van mejor con un archivo que un programador reescribe cada 10 minutos, y usted lo recarga cuando sube la tasa de errores.
Para un paquete, añada la dirección de su ordenador con ScrapeBox a la lista de permitidas en el panel de ProxyMix antes de la primera recolección.
Paso a paso
- Abra el Proxy Harvester y añada el enlace de su lista como fuente propia.
- Coseche y pase el resultado a la lista de proxies de la ventana principal.
- Marque los proxies como SOCKS en los ajustes de proxy, o use las líneas como HTTP.
- Fije el máximo de conexiones sin superar los hilos del paquete.
- En sesiones de más de una hora, coseche de nuevo cada 10 minutos o cargue el archivo que el programador mantiene al día.
Un archivo siempre al día
La línea de crontab de abajo descarga la lista cada 10 minutos y sustituye el archivo solo tras una descarga completa. En Windows, el Programador de tareas ejecuta la misma descarga con la misma frecuencia.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtConexiones y buscadores
ScrapeBox abre muchas conexiones por buscador, y los buscadores bloquean rápido. Mantenga moderadas las conexiones por buscador, tome una lista mayor y deje que el harvester reparta las peticiones entre más direcciones. Los hilos del paquete limitan el total de todos los buscadores.
Omita la prueba de proxies integrada tras cada cosecha. El pool sirve direcciones que funcionan, y probar miles de líneas solo gasta hilos.
Consejos
- ¿Muchos proxies marcados como fallidos? Baje primero las conexiones: las sobrantes se rechazan y parecen líneas muertas.
- Use el pool CEI para Yandex y World MIX para Google.
- Guarde las listas cosechadas con la fecha en el nombre del archivo, para no cargar nunca una copia vieja.
Trabajos de ScrapeBox que encajan con la lista
- Cosechar URL de resultados de búsqueda de una lista de palabras clave.
- Comprobar qué páginas ha indexado un buscador.
- Recoger sugerencias de palabras clave y revisar backlinks.
- Comprobaciones masivas de códigos de respuesta para listas de URL.
Todos envían muchas peticiones cortas. Cuantas más líneas tenga la lista, menos peticiones asume cada dirección.
Líneas residenciales en ScrapeBox
ScrapeBox lee los proxies con login como host:port:login:password, el mismo formato que da el panel, así que pegue las líneas tal cual desde el portapapeles. Úselas como proxies HTTP: cree líneas HTTP en el panel y deje sin marcar la casilla SOCKS.
Una línea «País» rotativa reparte las peticiones del harvester entre direcciones domésticas cuando un buscador bloquea rangos de centros de datos. La recolección descarga muchas páginas de resultados y el tráfico residencial se cobra por gigabyte, así que las recolecciones masivas salen más baratas con un paquete.
Pruebe antes de comprar
Una vez verificada su cuenta, pida al soporte una hora gratis y haga una recolección real. Los límites de hilos están en la página de precios, y la guía de curl muestra la misma lista en scripts de shell.