Quand les outils Netpeak ont besoin de proxys
Netpeak Spider explore des sites, et Netpeak Checker récupère des résultats de recherche et des métriques pour des listes d’URL et de mots-clés. L’audit de votre propre site a rarement besoin de proxys. Les explorations de grands sites concurrents et les vérifications massives dans les moteurs, si : sans proxys, la cible ou le moteur limite votre IP, et le travail ralentit ou s’arrête.
Les deux outils acceptent une liste de proxys dans leurs réglages et l’alternent entre les requêtes. Pour un forfait, autorisez d’abord l’adresse de votre ordinateur dans l’espace client ProxyMix.
Pas à pas
- Téléchargez la liste dans un fichier ou copiez-la depuis le lien.
- Ouvrez les réglages proxy de Spider ou de Checker et chargez la liste depuis le fichier ou le presse-papiers.
- Utilisez les lignes comme proxys HTTP : Spider accepte une liste de proxys HTTP, et chaque port de forfait répond en HTTP.
- Réglez les threads dans la limite du forfait.
- Lancez une courte exploration d’essai et regardez la part d’erreurs.
Réglages de Spider et de Checker
Spider envoie des requêtes à un seul site, la vitesse d’exploration dépend donc du nombre de requêtes que ce site tolère par adresse. Augmentez les threads progressivement et surveillez les réponses 429 et 403. Checker répartit les requêtes entre moteurs et services et tire le plus de profit d’une longue liste.
Les requêtes par un proxy prennent plus de temps que les requêtes directes. Augmentez un peu le délai d’attente et ajoutez des threads pour garder le rythme.
Un fichier toujours à jour
La copie d’hier de la liste contient beaucoup de lignes mortes. Rechargez-la avant chaque gros travail, ou gardez un fichier qu’un planificateur réécrit toutes les 10 minutes :
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtConseils
- Utilisez le même fichier pour Spider et Checker.
- Prenez World MIX pour les vérifications de recherche mondiales et le pool Europe ou CEI pour les résultats locaux.
- Désactivez les proxys pour l’audit de votre propre site afin de garder l’exploration simple.
Travaux typiques
- Explorer un grand site concurrent sans buter sur sa limite par IP.
- Vérifier positions et snippets pour des milliers de mots-clés dans Checker.
- Récupérer des métriques de listes d’URL auprès des moteurs et des services.
- Voir comment un site répond à des visiteurs de différents pays.
Lignes résidentielles dans Netpeak
Spider accepte une liste de lignes host:port:login:password, le format même que donne l’espace client, mais l’hôte doit être une adresse IPv4. Lancez nslookup sur l’hôte d’une ligne résidentielle et mettez l’IP à sa place. Utilisez des lignes HTTP.
Une ligne « Pays » avec un pays choisi montre comment un site répond aux visiteurs de ce pays, et Checker peut récupérer des résultats de recherche par des adresses domestiques quand un moteur bloque les plages de data centers. Les explorations téléchargent des pages entières : estimez les gigaoctets avant une grosse exécution.
Testez d’abord
Une fois votre compte vérifié, demandez au support une heure gratuite et explorez une vraie cible. Comparez les forfaits sur la page des tarifs et, pour vos propres crawlers, voyez le guide Python.