ScrapeBox'ı beslemenin iki yolu
ScrapeBox proxy'leri özel bir kaynaktan toplayabilir veya bir dosyadan yükleyebilir. Harvester kısa oturumlara uyar: ProxyMix bağlantısını toplarsınız, sonucu proxy listesine taşırsınız ve başlarsınız. Uzun çalışmalar, bir zamanlayıcının 10 dakikada bir yeniden yazdığı bir dosyayla daha iyi gider; hata oranı yükseldiğinde dosyayı yeniden yüklersiniz.
Paket için ilk toplamadan önce ScrapeBox bilgisayarınızın adresini ProxyMix panelindeki izinli listeye ekleyin.
Adım adım
- Proxy Harvester'ı açın ve liste bağlantınızı özel kaynak olarak ekleyin.
- Toplayın, sonra sonucu ana penceredeki proxy listesine taşıyın.
- Proxy ayarlarında proxy'leri SOCKS olarak işaretleyin veya satırları HTTP olarak kullanın.
- En fazla bağlantı sayısını paketin thread sayısını aşmayacak şekilde ayarlayın.
- Bir saatten uzun çalışmalarda 10 dakikada bir yeniden toplayın veya zamanlayıcının güncel tuttuğu dosyayı yükleyin.
Hep güncel kalan bir dosya
Aşağıdaki crontab satırı listeyi 10 dakikada bir indirir ve dosyayı yalnızca indirme tamamlandıktan sonra değiştirir. Windows'ta Görev Zamanlayıcı aynı indirmeyi aynı aralıkla çalıştırır.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtBağlantılar ve arama motorları
ScrapeBox her arama motoru için çok sayıda bağlantı açar ve arama motorları hızla engeller. Arama motoru başına bağlantıları makul tutun, daha büyük bir liste alın ve harvester'ın istekleri daha fazla adrese yaymasına izin verin. Paketin thread sayısı tüm motorlardaki toplamı sınırlar.
Her toplamadan sonra yerleşik proxy testini atlayın. Havuz çalışan adresler sunar, binlerce satırı test etmek yalnızca thread harcar.
İpuçları
- Birçok proxy başarısız mı görünüyor? Önce bağlantıları azaltın: fazlası reddedilir ve ölü satır gibi görünür.
- Yandex için BDT havuzunu, Google için World MIX'i kullanın.
- Toplanan listeleri dosya adında tarihle kaydedin, böylece asla eski bir kopya yüklemezsiniz.
Listeye uyan ScrapeBox işleri
- Bir anahtar kelime listesi için arama sonuçlarından URL toplamak.
- Bir arama motorunun hangi sayfaları dizine eklediğini kontrol etmek.
- Anahtar kelime önerileri toplamak ve geri bağlantıları kontrol etmek.
- URL listeleri için yanıt kodlarını toplu kontrol etmek.
Hepsi çok sayıda kısa istek gönderir. Listede ne kadar çok satır olursa her adrese o kadar az istek düşer.
ScrapeBox'ta residential satırlar
ScrapeBox giriş bilgili proxy'leri host:port:login:password olarak okur, panelin verdiği biçimle aynı; bu yüzden satırları panodan olduğu gibi yapıştırın. Onları HTTP proxy olarak kullanın: panelde HTTP satırları oluşturun ve SOCKS işaretini kapalı bırakın.
Bir arama motoru veri merkezi aralıklarını engellediğinde, dönen “Ülke” satırı harvester isteklerini ev adreslerine dağıtır. Toplama çok sayıda sonuç sayfası indirir ve residential trafik gigabayt başına ücretlendirilir, bu yüzden toplu toplamalar pakette daha ucuz kalır.
Satın almadan önce deneyin
Hesabınız doğrulandıktan sonra destekten bir ücretsiz saat isteyin ve gerçek bir toplama yapın. Thread sınırları fiyat sayfasında, curl rehberi ise aynı listeyi kabuk betiklerinde gösterir.