Cuándo necesitan proxies las herramientas de Netpeak
Netpeak Spider rastrea sitios, y Netpeak Checker obtiene resultados de búsqueda y métricas para listas de URL y palabras clave. Una auditoría de su propio sitio rara vez necesita proxies. Los rastreos de sitios grandes de la competencia y las comprobaciones masivas en buscadores sí: sin proxies, el destino o el buscador limita su IP, y el proceso se frena o se detiene.
Ambas herramientas aceptan una lista de proxies en sus ajustes y la alternan entre peticiones. Para un paquete, permita primero la dirección de su ordenador en el panel de ProxyMix.
Paso a paso
- Descargue la lista a un archivo o cópiela desde el enlace.
- Abra los ajustes de proxy en Spider o Checker y cargue la lista desde el archivo o el portapapeles.
- Use las líneas como proxies HTTP: Spider acepta una lista de proxies HTTP, y cada puerto de paquete responde a HTTP.
- Ajuste los hilos por debajo del límite del paquete.
- Lance un rastreo de prueba corto y mire la proporción de errores.
Ajustes de Spider y Checker
Spider envía peticiones a un solo sitio, así que la velocidad del rastreo depende de cuántas peticiones tolera ese sitio por dirección. Suba los hilos poco a poco y vigile las respuestas 429 y 403. Checker reparte las peticiones entre buscadores y servicios y es el que más gana con una lista larga.
Las peticiones a través de un proxy tardan más que las directas. Suba un poco el tiempo de espera y añada hilos para mantener el ritmo.
Un archivo siempre al día
La copia de ayer de la lista contiene muchas líneas muertas. Recárguela antes de cada proceso grande, o tenga un archivo que un programador reescriba cada 10 minutos:
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtConsejos
- Use el mismo archivo para Spider y Checker.
- Elija World MIX para comprobaciones de búsqueda globales y el pool de Europa o de la CEI para resultados locales.
- Desactive los proxies en las auditorías de su propio sitio para que el rastreo sea sencillo.
Trabajos típicos
- Rastrear un sitio grande de la competencia sin chocar con su límite por IP.
- Comprobar posiciones y snippets de miles de palabras clave en Checker.
- Obtener métricas de listas de URL desde buscadores y servicios.
- Ver cómo responde un sitio a visitantes de distintos países.
Líneas residenciales en Netpeak
Spider acepta una lista de líneas host:port:login:password, el mismo formato que da el panel, pero el host tiene que ser una dirección IPv4. Ejecute nslookup sobre el host de una línea residencial y ponga la IP en su lugar. Use líneas HTTP.
Una línea «País» con un país elegido muestra cómo responde un sitio a los visitantes de ese país, y Checker puede obtener resultados de búsqueda por direcciones domésticas cuando un buscador bloquea rangos de centros de datos. Los rastreos descargan páginas enteras, así que calcule los gigabytes antes de una ejecución grande.
Pruebe primero
Una vez verificada su cuenta, pida al soporte una hora gratis y rastree un objetivo real. Compare los paquetes en la página de precios y, para crawlers propios, vea la guía de Python.