Wann Netpeak-Tools Proxys brauchen
Netpeak Spider crawlt Websites, und Netpeak Checker holt Suchergebnisse und Kennzahlen für Listen von URLs und Keywords. Ein Audit der eigenen Website braucht selten Proxys. Crawls großer Konkurrenzseiten und Massenprüfungen in Suchmaschinen schon: Ohne Proxys begrenzt das Ziel oder die Suchmaschine Ihre IP, und der Lauf wird langsamer oder stoppt.
Beide Tools nehmen eine Proxy-Liste in ihren Einstellungen und wechseln sie zwischen den Anfragen. Für ein Paket erlauben Sie zuerst die Adresse Ihres Rechners im ProxyMix-Kundenbereich.
Schritt für Schritt
- Laden Sie die Liste in eine Datei herunter oder kopieren Sie sie vom Link.
- Öffnen Sie die Proxy-Einstellungen in Spider oder Checker und importieren Sie die Liste aus der Datei oder der Zwischenablage.
- Nutzen Sie die Zeilen als HTTP-Proxys: Spider nimmt eine Liste von HTTP-Proxys, und jeder Paket-Port beantwortet HTTP.
- Setzen Sie die Threads innerhalb des Paketlimits.
- Starten Sie einen kurzen Test-Crawl und sehen Sie sich den Fehleranteil an.
Einstellungen für Spider und Checker
Spider schickt Anfragen an eine Website, das Crawl-Tempo hängt also davon ab, wie viele Anfragen diese Website pro Adresse duldet. Erhöhen Sie die Threads schrittweise und achten Sie auf Antworten 429 und 403. Checker verteilt Anfragen auf Suchmaschinen und Dienste und profitiert am meisten von einer langen Liste.
Anfragen über einen Proxy dauern länger als direkte. Erhöhen Sie das Timeout etwas und fügen Sie Threads hinzu, um das Tempo zu halten.
Eine Datei, die aktuell bleibt
Die Kopie der Liste von gestern enthält viele tote Zeilen. Laden Sie sie vor jedem großen Lauf neu oder halten Sie eine Datei, die ein Zeitplan alle 10 Minuten neu schreibt:
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtTipps
- Nutzen Sie dieselbe Datei für Spider und Checker.
- Wählen Sie World MIX für globale Suchprüfungen und den Europa- oder GUS-Pool für lokale Ergebnisse.
- Schalten Sie Proxys für Audits der eigenen Website ab, damit der Crawl einfach bleibt.
Typische Aufgaben
- Eine große Konkurrenzseite crawlen, ohne an ihr Limit pro IP zu stoßen.
- Positionen und Snippets für Tausende Keywords in Checker prüfen.
- Kennzahlen für URL-Listen aus Suchmaschinen und Diensten abrufen.
- Prüfen, wie eine Website Besuchern aus verschiedenen Ländern antwortet.
Residential-Zeilen in Netpeak
Spider nimmt eine Liste von host:port:login:password-Zeilen, im selben Format, das der Kundenbereich ausgibt, aber der Host muss eine IPv4-Adresse sein. Führen Sie nslookup für den Host einer Residential-Zeile aus und setzen Sie die IP an seine Stelle. Nutzen Sie HTTP-Zeilen.
Eine „Land“-Zeile mit gewähltem Land zeigt, wie eine Website Besuchern aus diesem Land antwortet, und Checker kann Suchergebnisse über Heimadressen holen, wenn eine Suchmaschine Rechenzentrumsnetze sperrt. Crawls laden ganze Seiten, schätzen Sie die Gigabytes also vor einem großen Lauf ab.
Zuerst testen
Bitten Sie den Support nach der Verifizierung Ihres Kontos um eine kostenlose Stunde und crawlen Sie ein echtes Ziel. Vergleichen Sie Pakete auf der Preisseite, und für eigene Crawler lesen Sie die Python-Anleitung.