proxymix
Configurer les logiciels

Proxys pour Netpeak Spider et Checker : réglage de la liste

Les outils Netpeak acceptent une liste de proxys dans les réglages et les alternent entre les requêtes. Cela aide pour les gros audits et les vérifications de SERP. Les lignes résidentielles demandent un hôte IPv4 et un identifiant.

Quand les outils Netpeak ont besoin de proxys

Netpeak Spider explore des sites, et Netpeak Checker récupère des résultats de recherche et des métriques pour des listes d’URL et de mots-clés. L’audit de votre propre site a rarement besoin de proxys. Les explorations de grands sites concurrents et les vérifications massives dans les moteurs, si : sans proxys, la cible ou le moteur limite votre IP, et le travail ralentit ou s’arrête.

Les deux outils acceptent une liste de proxys dans leurs réglages et l’alternent entre les requêtes. Pour un forfait, autorisez d’abord l’adresse de votre ordinateur dans l’espace client ProxyMix.

Pas à pas

  1. Téléchargez la liste dans un fichier ou copiez-la depuis le lien.
  2. Ouvrez les réglages proxy de Spider ou de Checker et chargez la liste depuis le fichier ou le presse-papiers.
  3. Utilisez les lignes comme proxys HTTP : Spider accepte une liste de proxys HTTP, et chaque port de forfait répond en HTTP.
  4. Réglez les threads dans la limite du forfait.
  5. Lancez une courte exploration d’essai et regardez la part d’erreurs.

Réglages de Spider et de Checker

Spider envoie des requêtes à un seul site, la vitesse d’exploration dépend donc du nombre de requêtes que ce site tolère par adresse. Augmentez les threads progressivement et surveillez les réponses 429 et 403. Checker répartit les requêtes entre moteurs et services et tire le plus de profit d’une longue liste.

Les requêtes par un proxy prennent plus de temps que les requêtes directes. Augmentez un peu le délai d’attente et ajoutez des threads pour garder le rythme.

Un fichier toujours à jour

La copie d’hier de la liste contient beaucoup de lignes mortes. Rechargez-la avant chaque gros travail, ou gardez un fichier qu’un planificateur réécrit toutes les 10 minutes :

crontab
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txt

Conseils

  • Utilisez le même fichier pour Spider et Checker.
  • Prenez World MIX pour les vérifications de recherche mondiales et le pool Europe ou CEI pour les résultats locaux.
  • Désactivez les proxys pour l’audit de votre propre site afin de garder l’exploration simple.

Travaux typiques

  • Explorer un grand site concurrent sans buter sur sa limite par IP.
  • Vérifier positions et snippets pour des milliers de mots-clés dans Checker.
  • Récupérer des métriques de listes d’URL auprès des moteurs et des services.
  • Voir comment un site répond à des visiteurs de différents pays.

Lignes résidentielles dans Netpeak

Spider accepte une liste de lignes host:port:login:password, le format même que donne l’espace client, mais l’hôte doit être une adresse IPv4. Lancez nslookup sur l’hôte d’une ligne résidentielle et mettez l’IP à sa place. Utilisez des lignes HTTP.

Une ligne « Pays » avec un pays choisi montre comment un site répond aux visiteurs de ce pays, et Checker peut récupérer des résultats de recherche par des adresses domestiques quand un moteur bloque les plages de data centers. Les explorations téléchargent des pages entières : estimez les gigaoctets avant une grosse exécution.

Testez d’abord

Une fois votre compte vérifié, demandez au support une heure gratuite et explorez une vraie cible. Comparez les forfaits sur la page des tarifs et, pour vos propres crawlers, voyez le guide Python.

Questions

Questions

Toutes les questions
Spider et Checker utilisent-ils la même liste ?

Oui, chargez le même fichier dans les deux.

Pourquoi certaines vérifications sont-elles plus lentes avec des proxys ?

Chaque requête passe par un serveur de plus. Augmentez un peu le délai d’attente et ajoutez des threads.

Netpeak fonctionne-t-il avec SOCKS5 ?

Netpeak Spider accepte une liste de proxys HTTP. Chaque port de forfait répond en HTTP, et les lignes résidentielles doivent être créées en HTTP.

Pourquoi Netpeak refuse-t-il une ligne résidentielle ?

Le champ de l’hôte n’accepte qu’une adresse IPv4. Remplacez le nom d’hôte de la ligne par son IP obtenue avec nslookup.

Prêt à essayer ?

Rechargez votre solde, créez une liste avec le type et le pays voulus et testez le pool sur votre site. 1 Go d’essai coûte dès $0,27 et le trafic reste valable trois mois.

Composer la commande