Comment Key Collector utilise les proxys
Key Collector envoie beaucoup de requêtes aux services Yandex et aux moteurs de recherche : Wordstat, suggestions de recherche, pages de résultats pour l’analyse de la concurrence. Une seule IP atteint les limites en quelques minutes, c’est pourquoi le logiciel répartit les requêtes sur une liste de proxys. Il lit cette liste depuis un fichier ou le presse-papiers, le lien ProxyMix demande donc une étape de plus : un téléchargement planifié dans un fichier.
Pour un forfait, l’espace client ProxyMix doit connaître l’adresse de l’ordinateur où tourne Key Collector. Les proxys la reconnaissent, la liste ne contient donc pas d’identifiants.
Pas à pas
- Mettez en place un téléchargement planifié de la liste dans un fichier : la ligne crontab ci-dessous, ou le Planificateur de tâches sous Windows.
- Ouvrez les réglages réseau de Key Collector et activez l’utilisation des proxys.
- Importez le fichier contenant la liste.
- Réglez les threads de collecte dans la limite du forfait.
- Importez de nouveau le fichier avant chaque longue session de collecte.
Un fichier toujours à jour
Sur un serveur ou un Mac, cette ligne crontab réécrit le fichier toutes les 10 minutes. Sous Windows, le Planificateur de tâches lance le même téléchargement au même rythme.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtQuel pool pour Yandex et Google
Yandex affiche les résultats et les données Wordstat par région et se méfie davantage des adresses étrangères. Le pool CEI fournit des adresses de Russie, du Kazakhstan, de Biélorussie et des pays voisins, ce qui convient à la collecte sur Yandex. Pour la recherche de mots-clés sur Google, prenez World MIX, ou Europe pour les marchés européens. Les tarifs de chaque pool sont sur la page des tarifs.
Conseils
- Collectez en plusieurs sessions plus courtes et renouvelez le fichier entre elles.
- Baissez les threads si la part d’erreurs augmente : Yandex réagit aussi aux rafales venant de nombreuses adresses à la fois.
- Gardez un fichier par pool si vous travaillez sur plusieurs régions.
Wordstat, suggestions et résultats
La collecte Wordstat est celle qui charge le plus les services Yandex : donnez-lui le moins de threads et les pauses les plus longues. Les suggestions de recherche utilisent des requêtes plus légères et supportent plus de threads. L’analyse de la concurrence demande des pages de résultats complètes et réagit aux rafales, augmentez donc les threads progressivement et surveillez le journal des erreurs.
Lignes résidentielles dans Key Collector
Key Collector fonctionne avec des proxys HTTP et garde identifiant et mot de passe dans des colonnes à part de la table des proxys, dans ses réglages réseau. Ajoutez-y une ligne résidentielle HTTP : adresse, port, identifiant et mot de passe.
La colonne d’adresse attend une IP. Si votre ligne commence par un nom d’hôte, lancez nslookup dessus et indiquez l’adresse renvoyée. Pour Yandex, prenez une ligne « Pays » avec la Russie comme pays. La collecte envoie beaucoup de petites requêtes : surveillez le compteur de trafic de l’espace client pendant la première session.
Essai gratuit
Une fois votre compte vérifié, demandez au support une heure gratuite du forfait CEI et lancez une petite collecte. La FAQ couvre le paiement, les pauses et les règles de mise à jour.