proxymix
Kod örnekleri

Node.js’te proxy rotasyonu: fetch, undici ve ProxyAgent

Node'un yerleşik fetch'inde proxy seçeneği yoktur, bu yüzden örnek ProxyAgent'lı undici kullanır. Her istek listenizden rastgele bir satırdan geçer.

Gerekenler

Güncel bir Node.js LTS sürümü ve undici paketi: npm i undici. Node'un yerleşik fetch'inde proxy seçeneği yoktur, bu yüzden örnek ProxyAgent'lı undici kullanır. Dosyayı rotate.mjs olarak kaydedin, çünkü ES modüllerini ve üst düzey await'i kullanır.

Paket için sunucu adresinizi ProxyMix panelindeki izinli listeye ekleyin, kodun giriş bilgisine ihtiyacı kalmaz. Residential satırlar giriş bilgisi taşır, aşağıda gösterildiği gibi.

Betik

Betik listeyi bağlantınızdan yükler, boş satırları atar ve her biri rastgele bir satırdan geçen üç istek gönderir.

HTTP proxy'li undici
import { fetch, ProxyAgent } from 'undici';

const LIST_URL = 'YOUR_LIST_LINK';

const list = (await (await fetch(LIST_URL)).text()).split(/\s+/).filter(Boolean);
for (let i = 0; i < 3; i++) {
  const proxy = list[Math.floor(Math.random() * list.length)];
  const res = await fetch('https://ifconfig.me/ip', { dispatcher: new ProxyAgent(`http://${proxy}`) });
  console.log(proxy, '->', await res.text());
}

Nasıl çalışır

  • HTTPS hedefler için ProxyAgent proxy'ye CONNECT gönderir ve trafik kodunuzla site arasında şifreli kalır.
  • Her fetch çağrısındaki yeni bir dispatcher proxy'yi istek başına değiştirir.
  • ifconfig.me'nin yanıtı sitelerin gördüğü adresi gösterir.

Giriş bilgili residential satırlar

Residential satır her istekte giriş bilgisine ihtiyaç duyar. Örnek, satırdan bir Proxy-Authorization token'ı oluşturur ve ProxyAgent'a host ile portu verir. Token ham değerlerden oluşturulduğu için şifre : ve @ içerebilir.

residential satırla undici
import { fetch, ProxyAgent } from 'undici';

const LINE = 'HOST:PORT:LOGIN:PASSWORD';

const [host, port, login, ...rest] = LINE.split(':');
const token = `Basic ${Buffer.from(`${login}:${rest.join(':')}`).toString('base64')}`;
for (let i = 0; i < 3; i++) {
  const dispatcher = new ProxyAgent({ uri: `http://${host}:${port}`, token });
  const res = await fetch('https://ifconfig.me/ip', { dispatcher });
  console.log(await res.text());
  await dispatcher.close();
}

Betik her istekten sonra agent'ı kapatır, bu yüzden dönen satır her seferinde yeni bir adresten yanıt verir. Birçok istek için yeniden kullanılan bir agent bağlantısını korur ve istekler tek bir IP'yi paylaşır. Sabit satır her iki durumda da adresi korur.

Eşzamanlılık ve hatalar

Gerçek scraper'lar aynı anda çok sayıda istek gönderir. Devam eden istekleri paketin thread sayısının altında tutun, örneğin p-limit gibi küçük bir kuyrukla. Her isteği try ve catch içine alın, zaman aşımı veya bağlantı hatasından sonra başka bir satırla yeniden deneyin.

Listeyi setInterval ile 8 ila 10 dakikada bir tekrar yükleyin ve bellekteki diziyi değiştirin. Devam eden istekler proxy'lerini korur, yeni istekler taze listeden seçer.

Node'da SOCKS5

undici HTTP proxy'lerle çalışır. SOCKS5 için http ve https modülleriyle ya da axios ile bir SOCKS agent paketi kullanın. Her paket satırı iki protokole de yanıt verir, bu yüzden liste aynı kalır.

Karşılaşabileceğiniz hatalar

  • Her satırda ECONNREFUSED veya reddedilen bir CONNECT: sunucu adresiniz henüz izinli listede değil.
  • Hata nedeninde "Proxy response (407) !== 200 when HTTP Tunneling": residential satırın giriş adı veya şifresi yanlış.
  • UND_ERR_CONNECT_TIMEOUT: satır yavaş veya havuzdan çıkmış, başka biriyle yeniden deneyin.
  • Yanıt gövdesinde 403 veya captcha: hedef adresi sınırlıyor, satır ekleyin ve hızı düşürün.

Sonraki adımlar

Python rehberi ve curl rehberi aynı kalıbı başka dillerde gösterir, fiyat sayfası da thread sınırlarını listeler.

Sorular

Sorular

Tüm sorular
Node'da SOCKS5 kullanabilir miyim?

Evet, bir SOCKS agent paketiyle. HTTP proxy'ler undici ile doğrudan çalışır.

Kaç istek paralel çalışabilir?

Paketinizin thread sınırına kadar. Sayıyı korumak için p-limit gibi bir kuyruk kullanın.

Node'da residential satırı nasıl kullanırım?

ProxyAgent'a satırın host ve portunu ve bir token verin: Basic artı login:password'ün base64'ü.

Denemeye hazır mısınız?

Bakiye yükleyin, istediğiniz tür ve ülke için liste oluşturun ve havuzu kendi sitenizde deneyin. Deneme için 1 GB en az $0,27, trafik üç ay geçerli.

Sipariş oluştur