proxymix
Yazılım kurulumu

A-Parser için proxy: paket ve residential kurulumu

A-Parser proxy'leri bir URL'den alır ve zamanlayıcıyla yeniden yükler, bu yüzden dosya olmadan doğrudan bir ProxyMix liste bağlantısıyla çalışır. Residential satırlar proxy denetleyici ayarlarında giriş bilgisiyle bağlanır.

A-Parser ve liste bağlantısı neden uyumlu

A-Parser proxy'leri bir URL'den yükler ve zamanlayıcıyla yeniden yükler. Bir ProxyMix paketi tam olarak budur: normal bağlantı, havuzun aktif kısmını düz ip:port satırları olarak döndürür. Bağlantıyı bir kez yapıştırırsınız, her yükleme dosya ya da elle temizlik olmadan taze adresler getirir.

Paket için önce A-Parser sunucunuzun adresini ProxyMix panelindeki izinli listeye ekleyin. Proxy'ler bu adrese güvenir, bu yüzden listede giriş bilgisi yoktur ve A-Parser her satıra doğrudan bağlanır.

Adım adım

  1. Proxy denetleyici ayarlarını açın ve bir preset oluşturun ya da varsayılanı düzenleyin.
  2. ProxyMix liste bağlantınızı proxy kaynağı olarak ekleyin.
  3. Yeniden yükleme aralığını 10 dakika yapın.
  4. Proxy türü olarak SOCKS5'i, bir parser gerektiriyorsa HTTP'yi seçin.
  5. Her görevde bu preset'i seçin ve thread'leri, çalışan tüm görevler birlikte paket sınırında kalacak şekilde ayarlayın.

Menü adları A-Parser sürümleri arasında değişir. Sizin sürümünüzde bir adım farklı görünüyorsa proxy denetleyici ayarlarını ve proxy kaynakları listesini arayın.

Birden çok görevde thread'ler

A-Parser thread'leri görev başına, ProxyMix açık bağlantıları paket başına sayar. Her biri 500 thread'lik üç görev, en az 1.500 thread'lik bir paket ve biraz pay ister. Sınırın üstünde proxy'ler fazla bağlantıları reddeder ve A-Parser çalışan satırları kötü olarak işaretler.

Büyük işleri her biri daha az thread'li birkaç göreve bölün. Yük dengeli kalır ve bir görevi diğerlerine dokunmadan durdurabilirsiniz. 2.000 ila 5.000 thread'lik paketler fiyat sayfasında.

Arama motoru parser'ları

Google, Yandex ve diğer arama motorlarının parser'ları site tarayıcılarından daha önce captcha'ya takılır. Daha büyük bir liste yardımcı olur: binlerce satırla her adres yalnızca birkaç sorgu gönderir. Havuzu arama motoruna göre seçin: Google için World MIX, Yandex’e BDT havuzu, AB'deki yerel Google alan adları için Avrupa.

Yerleşik proxy denetimini hafif tutun. Havuz ölü adresleri zaten çıkarır, her başlangıçtan önceki ağır bir denetim yalnızca işi geciktirir.

İpuçları

  • Görev günlüğünde başarısız isteklerin oranını izleyin. Ani bir artış genellikle toplam thread'in sınırı aştığı anlamına gelir.
  • Birden çok paket aldıysanız her havuz için ayrı bir proxy denetleyici preset'i tutun.
  • Yeniden yüklemeyi 10 dakikada bırakın. Daha hızlı yüklemeler yavaşlatılır ve daha taze satır getirmez.

Görev günlüğünü okumak

A-Parser başarısız her isteği görev günlüğüne yazar. Bir captcha veya 403, hedefin tek bir adresten çok fazla istek fark ettiği anlamına gelir: satır ekleyin veya thread'leri azaltın. Zaman aşımları yavaş satırlara işaret eder, başka bir proxy üzerinden yeniden deneme genellikle sorunu çözer. Her satır bağlantıyı reddediyorsa panel başka bir adresi biliyordur: sunucunuzun giden trafik için kullandığı adresi bulun ve ona izin verin.

A-Parser'da residential satırlar

Veri merkezi aralıklarını engelleyen hedefler için residential proxy'leri, ihtiyacınız olan ülkenin “Ülke” satırıyla kullanın. Dönen satır her yeni bağlantıda yeni bir adres alır, bu yüzden tek satır bir görevin tüm thread'lerine hizmet eder.

  1. Residential satır için bir proxy denetleyici preset'i oluşturun.
  2. Satırın host ve portunu proxy listesine host:port olarak yazın.
  3. Use proxy authorization'ı açın ve Authorization login ile Authorization password alanlarını satırdaki bilgilerle doldurun.
  4. Satıra uyan proxy türünü seçin: HTTP veya SOCKS5.
  5. Ev adreslerine ihtiyaç duyan görevlerde bu preset'i seçin.

Farklı giriş bilgilerine sahip birkaç satır listeye satır başına bir tane olmak üzere login:password@host:port olarak girer; o zaman yalnızca Use proxy authorization yeterlidir. Residential trafik gigabayt başına ücretlendirilir, bu yüzden tüm sayfaları indiren ağır parser'ları pakette tutun.

Ödemeden önce deneyin

Destek ekibinden herhangi bir paket için bir saatlik ücretsiz deneme isteyin ve üzerinde gerçek bir A-Parser görevi çalıştırın. Ödeme, duraklatma ve güncelleme sıklığı SSS sayfasında, koda dayalı scraper'lar Python rehberinde.

Sorular

Sorular

Tüm sorular
Proxy'leri A-Parser'da denetlemem gerekir mi?

Havuz ölü adresleri zaten çıkarır. Hafif bir denetim sorun olmaz, ağır bir denetim yalnızca başlangıcı yavaşlatır.

Kaç thread çalıştırabilirim?

Paketinizin tüm görevlerde toplamda izin verdiği kadar, 300'den 5.000'e.

A-Parser SOCKS5 satırlarını kullanabilir mi?

Evet. Her port SOCKS5 ve HTTP konuşur, türü proxy denetleyici ayarlarından seçin.

A-Parser residential proxy'lerle çalışır mı?

Evet. Ya listede host:port ve Use proxy authorization açıkken proxy denetleyicide giriş adı ile şifre, ya da login:password@host:port biçiminde satırlar.

Denemeye hazır mısınız?

Bakiye yükleyin, istediğiniz tür ve ülke için liste oluşturun ve havuzu kendi sitenizde deneyin. Deneme için 1 GB en az $0,27, trafik üç ay geçerli.

Sipariş oluştur