proxymix
Configurer les logiciels

Proxys pour A-Parser : réglage des forfaits et résidentiels

A-Parser récupère les proxys depuis une URL et les recharge selon un minuteur : il fonctionne donc directement avec un lien de liste ProxyMix, sans fichiers. Les lignes résidentielles se connectent avec un identifiant dans les réglages du vérificateur de proxys.

Pourquoi A-Parser et un lien de liste vont ensemble

A-Parser charge des proxys depuis une URL et les recharge selon un minuteur. Un forfait ProxyMix, c’est exactement cela : le lien normal renvoie la partie active du pool en lignes ip:port en texte brut. Vous collez le lien une fois, et chaque rechargement apporte des adresses fraîches, sans fichiers ni nettoyage manuel.

Pour un forfait, ajoutez d’abord l’adresse de votre serveur A-Parser à la liste des adresses autorisées dans l’espace client ProxyMix. Les proxys font confiance à cette adresse, la liste ne contient donc pas d’identifiants et A-Parser se connecte directement à chaque ligne.

Pas à pas

  1. Ouvrez les réglages du vérificateur de proxys et créez un preset ou modifiez celui par défaut.
  2. Ajoutez le lien de votre liste ProxyMix comme source de proxys.
  3. Réglez l’intervalle de rechargement sur 10 minutes.
  4. Choisissez SOCKS5 comme type de proxy, ou HTTP si un parser l’exige.
  5. Dans chaque tâche, sélectionnez ce preset et réglez les threads pour que toutes les tâches en cours restent ensemble dans la limite du forfait.

Les noms des menus changent d’une version d’A-Parser à l’autre. Si une étape diffère chez vous, cherchez les réglages du vérificateur de proxys et la liste des sources de proxys.

Les threads répartis sur plusieurs tâches

A-Parser compte les threads par tâche, et ProxyMix compte les connexions ouvertes par forfait. Trois tâches de 500 threads demandent un forfait d’au moins 1 500 threads, plus une marge. Au-delà de la limite, les proxys rejettent les connexions en trop, et A-Parser marque comme mauvaises des lignes qui fonctionnent.

Découpez les gros travaux en plusieurs tâches avec moins de threads chacune. La charge reste régulière, et vous pouvez arrêter une tâche sans toucher aux autres. Les forfaits de 2 000 à 5 000 threads sont sur la page des tarifs.

Parsers de moteurs de recherche

Les parsers de Google, Yandex et d’autres moteurs tombent sur des captchas plus tôt que les crawlers de sites. Une liste plus grande aide : avec des milliers de lignes, chaque adresse n’envoie que quelques requêtes. Choisissez le pool selon le moteur : World MIX pour Google, le pool CEI pour Yandex, Europe pour les domaines Google locaux de l’UE.

Gardez légère la vérification de proxys intégrée. Le pool retire déjà les adresses mortes, et une vérification lourde avant chaque lancement ne fait que retarder le travail.

Conseils

  • Surveillez la part de requêtes échouées dans le journal de la tâche. Une hausse brutale signifie en général que le total des threads a dépassé la limite.
  • Créez un preset du vérificateur de proxys par pool si vous avez acheté plusieurs forfaits.
  • Laissez le rechargement à 10 minutes. Un rechargement plus rapide est ralenti et n’apporte pas de lignes plus fraîches.

Lire le journal de la tâche

A-Parser écrit chaque requête échouée dans le journal de la tâche. Un captcha ou un 403 signifie que la cible a remarqué trop de requêtes depuis une adresse : ajoutez des lignes ou baissez les threads. Les délais dépassés indiquent des lignes lentes, et un nouvel essai par un autre proxy les règle en général. Si toutes les lignes refusent la connexion, l’espace client connaît une autre adresse : trouvez celle que votre serveur utilise pour le trafic sortant et autorisez-la.

Lignes résidentielles dans A-Parser

Prenez des proxys résidentiels pour les cibles qui bloquent les plages de data centers, avec une ligne « Pays » du pays voulu. Une ligne rotative reçoit une nouvelle adresse à chaque nouvelle connexion, une seule ligne sert donc tous les threads d’une tâche.

  1. Créez un preset du vérificateur de proxys pour la ligne résidentielle.
  2. Mettez l’hôte et le port de la ligne dans la liste de proxys sous la forme host:port.
  3. Activez Use proxy authorization et remplissez Authorization login et Authorization password avec les données de la ligne.
  4. Choisissez le type de proxy qui correspond à la ligne : HTTP ou SOCKS5.
  5. Sélectionnez ce preset dans les tâches qui ont besoin d’adresses domestiques.

Plusieurs lignes avec des identifiants différents vont dans la liste sous la forme login:password@host:port, une par ligne, et Use proxy authorization suffit alors. Le trafic résidentiel est facturé au gigaoctet : gardez sur un forfait les parsers lourds qui téléchargent des pages entières.

Vérifiez avant de payer

Demandez au support un essai gratuit d’une heure sur n’importe quel forfait et lancez dessus une vraie tâche A-Parser. Le paiement, les pauses et la fréquence de mise à jour sont expliqués dans la FAQ, et les scrapers en code dans le guide Python.

Questions

Questions

Toutes les questions
Dois-je vérifier les proxys dans A-Parser ?

Le pool retire déjà les adresses mortes. Une vérification légère convient, mais une vérification lourde ne fait que ralentir le démarrage.

Combien de threads puis-je lancer ?

Autant que votre forfait le permet au total sur toutes les tâches, de 300 à 5 000.

A-Parser peut-il utiliser les lignes SOCKS5 ?

Oui. Chaque port parle SOCKS5 et HTTP, choisissez donc le type dans les réglages du vérificateur de proxys.

A-Parser fonctionne-t-il avec des proxys résidentiels ?

Oui. Soit host:port dans la liste avec identifiant et mot de passe dans le vérificateur de proxys, Use proxy authorization activé, soit des lignes au format login:password@host:port.

Prêt à essayer ?

Rechargez votre solde, créez une liste avec le type et le pays voulus et testez le pool sur votre site. 1 Go d’essai coûte dès $0,27 et le trafic reste valable trois mois.

Composer la commande