proxymix
דוגמאות קוד

curl ו-bash עם רשימת פרוקסי: בקשות, לולאות ותזמון cron

curl מדבר עם פרוקסי HTTP ו-SOCKS5 בדגל אחד. הסקריפטים האלה לוקחים שורות אקראיות מהרשימה, לבדיקה מהירה או ללולאה על הרבה כתובות URL.

מה צריך

curl ו-coreutils, שקיימים בכל שרת Linux וב-macOS עם Homebrew. curl עובד עם פרוקסי HTTP ו-SOCKS5 בדגל אחד, -x. לחבילה, אשרו קודם את כתובת המכונה הזאת בלוח של ProxyMix; אחרי זה הפרוקסי לא צריכים פרטי כניסה.

בקשה אחת דרך פרוקסי אקראי

הסקריפט הראשון מוריד את הרשימה, לוקח שורה אקראית עם shuf ושולח דרכה בקשה אחת. tr מסיר סיומות שורה של Windows אם הן מופיעות.

בקשה אחת דרך פרוקסי אקראי
LIST_URL="YOUR_LIST_LINK"
PROXY=$(curl -fsS "$LIST_URL" | tr -d '\r' | shuf -n 1)
curl -x "socks5h://$PROXY" https://ifconfig.me/ip

לולאה על הרבה כתובות URL

הסקריפט השני קורא את urls.txt ושולח כל URL דרך פרוקסי אקראי משלו. הוא מדפיס את קוד ה-HTTP, את ה-URL ואת הפרוקסי, כך שכשלים מופיעים מיד.

לולאה על urls.txt
LIST_URL="YOUR_LIST_LINK"
curl -fsS "$LIST_URL" | tr -d '\r' > proxies.txt
while read -r url; do
  proxy=$(shuf -n 1 proxies.txt)
  curl -s -m 20 -x "socks5h://$proxy" -o /dev/null -w "%{http_code} $url via $proxy\n" "$url"
done < urls.txt

קובץ רשימה ש-cron שומר מעודכן

לתוכנות שקוראות קובץ, השורה הזאת מורידה את הרשימה כל 10 דקות ומחליפה את הקובץ רק אחרי הורדה מלאה.

crontab
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txt

שורות ביתיות עם פרטי כניסה

curl מקבל את פרטי הכניסה של שורה ביתית עם -U, כך שהסיסמה לא צריכה קידוד גם אם יש בה : או @. הסקריפט מפרק את השורה, שולח שלוש בקשות ומדפיס מאיזו כתובת הגיעה כל אחת.

curl עם שורה ביתית
LINE="HOST:PORT:LOGIN:PASSWORD"
SCHEME="http"
IFS=: read -r GATE GATE_PORT USER_ID USER_KEY <<< "$LINE"
for i in 1 2 3; do
  curl -sS -m 20 -x "$SCHEME://$GATE:$GATE_PORT" -U "$USER_ID:$USER_KEY" https://ifconfig.me/ip
  echo
done

כל קריאה ל-curl פותחת חיבור חדש, כך ששורה מתחלפת מראה IP חדש בכל בקשה ושורה קבועה מראה תמיד את אותו IP. לשורת SOCKS5 הגדירו SCHEME="socks5h": -U עובד גם לפרטי כניסה של SOCKS5.

בקשות במקביל

הלולאה שולחת בקשה אחת בכל פעם. כדי להאיץ, העבירו את הכתובות ל-xargs -P או ל-GNU parallel ושמרו על מספר התהליכים בתוך תהליכוני החבילה. החליפו socks5h:// ב-http:// בדגל -x אם יעד עובד טוב יותר ב-HTTP.

קריאת שגיאות curl

  • קוד יציאה 7: curl לא הצליח להגיע לפרוקסי. ודאו שהלוח מכיר את כתובת המכונה הזאת.
  • קוד יציאה 56 עם "CONNECT tunnel failed, response 407": שם הכניסה או הסיסמה של שורה ביתית שגויים.
  • קוד יציאה 28: לבקשה נגמר הזמן. השורה איטית, אז נסו שוב דרך אחרת או העלו את -m.
  • קוד יציאה 97: לחיצת היד של SOCKS נכשלה. נסו שוב דרך שורה אחרת או עברו ל-http://.
  • HTTP 403 או 429 מהיעד: האתר מגביל את הכתובת, אז פזרו בקשות על יותר שורות.

הצעדים הבאים

לסקרייפר מלא ראו את מדריך Python או את מדריך Node.js. תוכנות כמו ScrapeBox ו-Key Collector קוראות את אותו קובץ ש-cron שומר מעודכן.

שאלות

שאלות

כל השאלות
איך משתמשים ב-HTTP במקום SOCKS5?

החליפו socks5h:// ב-http:// בדגל -x.

איך מריצים הרבה בקשות בבת אחת?

העבירו את הכתובות ל-xargs -P או ל-GNU parallel ושמרו על מספר התהליכים בתוך תהליכוני החבילה.

איך מעבירים פרטי כניסה ביתיים ל-curl?

עם -U login:password לצד -x http://host:port, או socks5h://host:port לשורת SOCKS5.

מוכנים לנסות?

טענו יתרה, צרו רשימה מהסוג והמדינה הרצויים ובדקו את המאגר באתר שלכם. 1 GB לניסיון עולה מ-‎$0.27, והתעבורה בתוקף שלושה חודשים.

הרכבת הזמנה