proxymix
דוגמאות קוד

החלפת פרוקסי ב-Node.js: ספריות fetch, undici ו-ProxyAgent

ל-fetch המובנה ב-Node אין אפשרות פרוקסי, ולכן הדוגמה משתמשת ב-undici עם ProxyAgent. כל בקשה עוברת דרך שורה אקראית מהרשימה שלכם.

מה צריך

גרסת LTS עדכנית של Node.js והחבילה undici: npm i undici. ל-fetch המובנה ב-Node אין אפשרות פרוקסי, ולכן הדוגמה משתמשת ב-undici עם ProxyAgent. שמרו את הקובץ בשם rotate.mjs, כי הוא משתמש במודולי ES וב-await ברמה העליונה.

לחבילה, הוסיפו את כתובת השרת שלכם לרשימת הכתובות המאושרות בלוח של ProxyMix, והקוד לא צריך פרטי כניסה. שורות ביתיות נושאות פרטי כניסה, כמו שמוצג למטה.

הסקריפט

הסקריפט טוען את הרשימה מהקישור, מסיר שורות ריקות ושולח שלוש בקשות, כל אחת דרך שורה אקראית.

undici עם פרוקסי HTTP
import { fetch, ProxyAgent } from 'undici';

const LIST_URL = 'YOUR_LIST_LINK';

const list = (await (await fetch(LIST_URL)).text()).split(/\s+/).filter(Boolean);
for (let i = 0; i < 3; i++) {
  const proxy = list[Math.floor(Math.random() * list.length)];
  const res = await fetch('https://ifconfig.me/ip', { dispatcher: new ProxyAgent(`http://${proxy}`) });
  console.log(proxy, '->', await res.text());
}

איך זה עובד

  • ליעדי HTTPS, ProxyAgent שולח CONNECT לפרוקסי, והתעבורה נשארת מוצפנת בין הקוד שלכם לאתר.
  • dispatcher חדש בכל קריאה ל-fetch מחליף את הפרוקסי לכל בקשה.
  • התשובה מ-ifconfig.me מראה את הכתובת שאתרים רואים.

שורות ביתיות עם פרטי כניסה

שורה ביתית צריכה את פרטי הכניסה שלה בכל בקשה. הדוגמה בונה מהשורה טוקן Proxy-Authorization ונותנת ל-ProxyAgent את המארח והפורט. הסיסמה יכולה לכלול : ו-@, כי הטוקן נבנה מהערכים הגולמיים.

undici עם שורה ביתית
import { fetch, ProxyAgent } from 'undici';

const LINE = 'HOST:PORT:LOGIN:PASSWORD';

const [host, port, login, ...rest] = LINE.split(':');
const token = `Basic ${Buffer.from(`${login}:${rest.join(':')}`).toString('base64')}`;
for (let i = 0; i < 3; i++) {
  const dispatcher = new ProxyAgent({ uri: `http://${host}:${port}`, token });
  const res = await fetch('https://ifconfig.me/ip', { dispatcher });
  console.log(await res.text());
  await dispatcher.close();
}

הסקריפט סוגר את הסוכן אחרי כל בקשה, כך ששורה מתחלפת עונה בכל פעם דרך כתובת חדשה. סוכן אחד שמשמש לבקשות רבות שומר על החיבור שלו, והבקשות חולקות IP אחד. שורה קבועה שומרת על הכתובת בשני המקרים.

מקביליות ושגיאות

סקרייפרים אמיתיים שולחים הרבה בקשות בבת אחת. שמרו את הבקשות הפתוחות מתחת לתהליכוני החבילה, למשל עם תור קטן כמו p-limit. עטפו כל בקשה ב-try ו-catch, ונסו שוב דרך שורה אחרת אחרי פסק זמן או שגיאת חיבור.

טענו את הרשימה מחדש כל 8 עד 10 דקות עם setInterval והחליפו את המערך בזיכרון. בקשות שכבר בדרך שומרות על הפרוקסי שלהן, וחדשות בוחרות מהרשימה הטרייה.

SOCKS5 ב-Node

undici עובד עם פרוקסי HTTP. ל-SOCKS5 השתמשו בחבילת סוכן SOCKS עם המודולים http ו-https או עם axios. כל שורת חבילה עונה לשני הפרוטוקולים, כך שהרשימה נשארת אותה רשימה.

שגיאות שאולי תראו

  • ECONNREFUSED או CONNECT שנדחה בכל שורה: כתובת השרת שלכם עוד לא ברשימה המאושרת.
  • "Proxy response (407) !== 200 when HTTP Tunneling" בסיבת השגיאה: שם הכניסה או הסיסמה של שורה ביתית שגויים.
  • UND_ERR_CONNECT_TIMEOUT: השורה איטית או יצאה מהמאגר, נסו שוב דרך אחרת.
  • 403 או קפצ'ה בגוף התשובה: היעד מגביל את הכתובת, אז הוסיפו שורות והורידו את הקצב.

הצעדים הבאים

מדריך Python ומדריך curl מראים את אותו דפוס בשפות אחרות, ועמוד המחירים מפרט את מגבלות התהליכונים.

שאלות

שאלות

כל השאלות
אפשר להשתמש ב-SOCKS5 ב-Node?

כן, עם חבילת SOCKS agent. פרוקסי HTTP עובדים עם undici מהקופסה.

כמה בקשות יכולות לרוץ במקביל?

עד מגבלת התהליכונים של החבילה. השתמשו בתור כמו p-limit כדי לשמור על הספירה.

איך משתמשים בשורה ביתית ב-Node?

תנו ל-ProxyAgent את המארח והפורט של השורה ו-token: המילה Basic ואחריה base64 של login:password.

מוכנים לנסות?

טענו יתרה, צרו רשימה מהסוג והמדינה הרצויים ובדקו את המאגר באתר שלכם. 1 GB לניסיון עולה מ-‎$0.27, והתעבורה בתוקף שלושה חודשים.

הרכבת הזמנה