Gerekenler
Güncel bir Node.js LTS sürümü ve undici paketi: npm i undici. Node'un yerleşik fetch'inde proxy seçeneği yoktur, bu yüzden örnek ProxyAgent'lı undici kullanır. Dosyayı rotate.mjs olarak kaydedin, çünkü ES modüllerini ve üst düzey await'i kullanır.
Paket için sunucu adresinizi ProxyMix panelindeki izinli listeye ekleyin, kodun giriş bilgisine ihtiyacı kalmaz. Residential satırlar giriş bilgisi taşır, aşağıda gösterildiği gibi.
Betik
Betik listeyi bağlantınızdan yükler, boş satırları atar ve her biri rastgele bir satırdan geçen üç istek gönderir.
import { fetch, ProxyAgent } from 'undici';
const LIST_URL = 'YOUR_LIST_LINK';
const list = (await (await fetch(LIST_URL)).text()).split(/\s+/).filter(Boolean);
for (let i = 0; i < 3; i++) {
const proxy = list[Math.floor(Math.random() * list.length)];
const res = await fetch('https://ifconfig.me/ip', { dispatcher: new ProxyAgent(`http://${proxy}`) });
console.log(proxy, '->', await res.text());
}Nasıl çalışır
- HTTPS hedefler için ProxyAgent proxy'ye CONNECT gönderir ve trafik kodunuzla site arasında şifreli kalır.
- Her fetch çağrısındaki yeni bir dispatcher proxy'yi istek başına değiştirir.
- ifconfig.me'nin yanıtı sitelerin gördüğü adresi gösterir.
Giriş bilgili residential satırlar
Residential satır her istekte giriş bilgisine ihtiyaç duyar. Örnek, satırdan bir Proxy-Authorization token'ı oluşturur ve ProxyAgent'a host ile portu verir. Token ham değerlerden oluşturulduğu için şifre : ve @ içerebilir.
import { fetch, ProxyAgent } from 'undici';
const LINE = 'HOST:PORT:LOGIN:PASSWORD';
const [host, port, login, ...rest] = LINE.split(':');
const token = `Basic ${Buffer.from(`${login}:${rest.join(':')}`).toString('base64')}`;
for (let i = 0; i < 3; i++) {
const dispatcher = new ProxyAgent({ uri: `http://${host}:${port}`, token });
const res = await fetch('https://ifconfig.me/ip', { dispatcher });
console.log(await res.text());
await dispatcher.close();
}Betik her istekten sonra agent'ı kapatır, bu yüzden dönen satır her seferinde yeni bir adresten yanıt verir. Birçok istek için yeniden kullanılan bir agent bağlantısını korur ve istekler tek bir IP'yi paylaşır. Sabit satır her iki durumda da adresi korur.
Eşzamanlılık ve hatalar
Gerçek scraper'lar aynı anda çok sayıda istek gönderir. Devam eden istekleri paketin thread sayısının altında tutun, örneğin p-limit gibi küçük bir kuyrukla. Her isteği try ve catch içine alın, zaman aşımı veya bağlantı hatasından sonra başka bir satırla yeniden deneyin.
Listeyi setInterval ile 8 ila 10 dakikada bir tekrar yükleyin ve bellekteki diziyi değiştirin. Devam eden istekler proxy'lerini korur, yeni istekler taze listeden seçer.
Node'da SOCKS5
undici HTTP proxy'lerle çalışır. SOCKS5 için http ve https modülleriyle ya da axios ile bir SOCKS agent paketi kullanın. Her paket satırı iki protokole de yanıt verir, bu yüzden liste aynı kalır.
Karşılaşabileceğiniz hatalar
- Her satırda ECONNREFUSED veya reddedilen bir CONNECT: sunucu adresiniz henüz izinli listede değil.
- Hata nedeninde "Proxy response (407) !== 200 when HTTP Tunneling": residential satırın giriş adı veya şifresi yanlış.
- UND_ERR_CONNECT_TIMEOUT: satır yavaş veya havuzdan çıkmış, başka biriyle yeniden deneyin.
- Yanıt gövdesinde 403 veya captcha: hedef adresi sınırlıyor, satır ekleyin ve hızı düşürün.
Sonraki adımlar
Python rehberi ve curl rehberi aynı kalıbı başka dillerde gösterir, fiyat sayfası da thread sınırlarını listeler.