Pourquoi A-Parser et un lien de liste vont ensemble
A-Parser charge des proxys depuis une URL et les recharge selon un minuteur. Un forfait ProxyMix, c’est exactement cela : le lien normal renvoie la partie active du pool en lignes ip:port en texte brut. Vous collez le lien une fois, et chaque rechargement apporte des adresses fraîches, sans fichiers ni nettoyage manuel.
Pour un forfait, ajoutez d’abord l’adresse de votre serveur A-Parser à la liste des adresses autorisées dans l’espace client ProxyMix. Les proxys font confiance à cette adresse, la liste ne contient donc pas d’identifiants et A-Parser se connecte directement à chaque ligne.
Pas à pas
- Ouvrez les réglages du vérificateur de proxys et créez un preset ou modifiez celui par défaut.
- Ajoutez le lien de votre liste ProxyMix comme source de proxys.
- Réglez l’intervalle de rechargement sur 10 minutes.
- Choisissez SOCKS5 comme type de proxy, ou HTTP si un parser l’exige.
- Dans chaque tâche, sélectionnez ce preset et réglez les threads pour que toutes les tâches en cours restent ensemble dans la limite du forfait.
Les noms des menus changent d’une version d’A-Parser à l’autre. Si une étape diffère chez vous, cherchez les réglages du vérificateur de proxys et la liste des sources de proxys.
Les threads répartis sur plusieurs tâches
A-Parser compte les threads par tâche, et ProxyMix compte les connexions ouvertes par forfait. Trois tâches de 500 threads demandent un forfait d’au moins 1 500 threads, plus une marge. Au-delà de la limite, les proxys rejettent les connexions en trop, et A-Parser marque comme mauvaises des lignes qui fonctionnent.
Découpez les gros travaux en plusieurs tâches avec moins de threads chacune. La charge reste régulière, et vous pouvez arrêter une tâche sans toucher aux autres. Les forfaits de 2 000 à 5 000 threads sont sur la page des tarifs.
Parsers de moteurs de recherche
Les parsers de Google, Yandex et d’autres moteurs tombent sur des captchas plus tôt que les crawlers de sites. Une liste plus grande aide : avec des milliers de lignes, chaque adresse n’envoie que quelques requêtes. Choisissez le pool selon le moteur : World MIX pour Google, le pool CEI pour Yandex, Europe pour les domaines Google locaux de l’UE.
Gardez légère la vérification de proxys intégrée. Le pool retire déjà les adresses mortes, et une vérification lourde avant chaque lancement ne fait que retarder le travail.
Conseils
- Surveillez la part de requêtes échouées dans le journal de la tâche. Une hausse brutale signifie en général que le total des threads a dépassé la limite.
- Créez un preset du vérificateur de proxys par pool si vous avez acheté plusieurs forfaits.
- Laissez le rechargement à 10 minutes. Un rechargement plus rapide est ralenti et n’apporte pas de lignes plus fraîches.
Lire le journal de la tâche
A-Parser écrit chaque requête échouée dans le journal de la tâche. Un captcha ou un 403 signifie que la cible a remarqué trop de requêtes depuis une adresse : ajoutez des lignes ou baissez les threads. Les délais dépassés indiquent des lignes lentes, et un nouvel essai par un autre proxy les règle en général. Si toutes les lignes refusent la connexion, l’espace client connaît une autre adresse : trouvez celle que votre serveur utilise pour le trafic sortant et autorisez-la.
Lignes résidentielles dans A-Parser
Prenez des proxys résidentiels pour les cibles qui bloquent les plages de data centers, avec une ligne « Pays » du pays voulu. Une ligne rotative reçoit une nouvelle adresse à chaque nouvelle connexion, une seule ligne sert donc tous les threads d’une tâche.
- Créez un preset du vérificateur de proxys pour la ligne résidentielle.
- Mettez l’hôte et le port de la ligne dans la liste de proxys sous la forme
host:port. - Activez Use proxy authorization et remplissez Authorization login et Authorization password avec les données de la ligne.
- Choisissez le type de proxy qui correspond à la ligne : HTTP ou SOCKS5.
- Sélectionnez ce preset dans les tâches qui ont besoin d’adresses domestiques.
Plusieurs lignes avec des identifiants différents vont dans la liste sous la forme login:password@host:port, une par ligne, et Use proxy authorization suffit alors. Le trafic résidentiel est facturé au gigaoctet : gardez sur un forfait les parsers lourds qui téléchargent des pages entières.
Vérifiez avant de payer
Demandez au support un essai gratuit d’une heure sur n’importe quel forfait et lancez dessus une vraie tâche A-Parser. Le paiement, les pauses et la fréquence de mise à jour sont expliqués dans la FAQ, et les scrapers en code dans le guide Python.