Deux façons d’alimenter ScrapeBox
ScrapeBox peut récolter des proxys depuis une source personnalisée ou les charger depuis un fichier. Le harvester convient aux sessions courtes : vous récoltez le lien ProxyMix, déplacez le résultat dans la liste de proxys et lancez. Les longues sessions marchent mieux avec un fichier qu’un planificateur réécrit toutes les 10 minutes, et que vous rechargez quand le taux d’erreurs monte.
Pour un forfait, ajoutez l’adresse de votre ordinateur ScrapeBox à la liste des adresses autorisées dans l’espace client ProxyMix avant la première collecte.
Pas à pas
- Ouvrez le Proxy Harvester et ajoutez le lien de votre liste comme source personnalisée.
- Récoltez, puis déplacez le résultat dans la liste de proxys de la fenêtre principale.
- Marquez les proxys comme SOCKS dans les réglages proxy, ou utilisez les lignes en HTTP.
- Fixez le nombre maximal de connexions sans dépasser les threads du forfait.
- Pour les sessions de plus d’une heure, récoltez de nouveau toutes les 10 minutes ou chargez le fichier que le planificateur garde à jour.
Un fichier toujours à jour
La ligne crontab ci-dessous télécharge la liste toutes les dix minutes et ne remplace le fichier qu’après un téléchargement complet. Sous Windows, le Planificateur de tâches lance le même téléchargement au même rythme.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtConnexions et moteurs de recherche
ScrapeBox ouvre beaucoup de connexions par moteur, et les moteurs bloquent vite. Gardez un nombre de connexions modéré par moteur, prenez une liste plus grande et laissez le harvester répartir les requêtes sur plus d’adresses. Les threads du forfait plafonnent le total de tous les moteurs.
Sautez le test de proxys intégré après chaque récolte. Le pool fournit des adresses qui fonctionnent, et tester des milliers de lignes ne fait que consommer des threads.
Conseils
- Beaucoup de proxys marqués en échec ? Baissez d’abord les connexions : celles en trop sont refusées et ressemblent à des lignes mortes.
- Utilisez le pool CEI pour Yandex et World MIX pour Google.
- Enregistrez les listes récoltées avec la date dans le nom du fichier, pour ne jamais charger une copie périmée.
Les travaux ScrapeBox adaptés à la liste
- Récolter des URL dans les résultats de recherche pour une liste de mots-clés.
- Vérifier quelles pages un moteur a indexées.
- Collecter des suggestions de mots-clés et vérifier des backlinks.
- Vérifier en masse les codes de réponse de listes d’URL.
Tous envoient beaucoup de requêtes courtes. Plus la liste a de lignes, moins chaque adresse reçoit de requêtes.
Lignes résidentielles dans ScrapeBox
ScrapeBox lit les proxys avec identifiant sous la forme host:port:login:password, le format même que donne l’espace client : collez donc les lignes telles quelles via le presse-papiers. Utilisez-les comme proxys HTTP : créez des lignes HTTP dans l’espace client, puis laissez la case SOCKS décochée.
Une ligne « Pays » rotative répartit les requêtes du harvester sur des adresses domestiques quand un moteur de recherche bloque les plages de data centers. La collecte télécharge beaucoup de pages de résultats et le trafic résidentiel est facturé au gigaoctet : les collectes de masse restent moins chères sur un forfait.
Testez avant d’acheter
Une fois votre compte vérifié, demandez au support une heure gratuite et lancez une vraie collecte. Les limites de threads sont sur la page des tarifs, et le guide curl montre la même liste dans des scripts shell.