מה צריך
curl ו-coreutils, שקיימים בכל שרת Linux וב-macOS עם Homebrew. curl עובד עם פרוקסי HTTP ו-SOCKS5 בדגל אחד, -x. לחבילה, אשרו קודם את כתובת המכונה הזאת בלוח של ProxyMix; אחרי זה הפרוקסי לא צריכים פרטי כניסה.
בקשה אחת דרך פרוקסי אקראי
הסקריפט הראשון מוריד את הרשימה, לוקח שורה אקראית עם shuf ושולח דרכה בקשה אחת. tr מסיר סיומות שורה של Windows אם הן מופיעות.
LIST_URL="YOUR_LIST_LINK"
PROXY=$(curl -fsS "$LIST_URL" | tr -d '\r' | shuf -n 1)
curl -x "socks5h://$PROXY" https://ifconfig.me/ipלולאה על הרבה כתובות URL
הסקריפט השני קורא את urls.txt ושולח כל URL דרך פרוקסי אקראי משלו. הוא מדפיס את קוד ה-HTTP, את ה-URL ואת הפרוקסי, כך שכשלים מופיעים מיד.
LIST_URL="YOUR_LIST_LINK"
curl -fsS "$LIST_URL" | tr -d '\r' > proxies.txt
while read -r url; do
proxy=$(shuf -n 1 proxies.txt)
curl -s -m 20 -x "socks5h://$proxy" -o /dev/null -w "%{http_code} $url via $proxy\n" "$url"
done < urls.txtקובץ רשימה ש-cron שומר מעודכן
לתוכנות שקוראות קובץ, השורה הזאת מורידה את הרשימה כל 10 דקות ומחליפה את הקובץ רק אחרי הורדה מלאה.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtשורות ביתיות עם פרטי כניסה
curl מקבל את פרטי הכניסה של שורה ביתית עם -U, כך שהסיסמה לא צריכה קידוד גם אם יש בה : או @. הסקריפט מפרק את השורה, שולח שלוש בקשות ומדפיס מאיזו כתובת הגיעה כל אחת.
LINE="HOST:PORT:LOGIN:PASSWORD"
SCHEME="http"
IFS=: read -r GATE GATE_PORT USER_ID USER_KEY <<< "$LINE"
for i in 1 2 3; do
curl -sS -m 20 -x "$SCHEME://$GATE:$GATE_PORT" -U "$USER_ID:$USER_KEY" https://ifconfig.me/ip
echo
doneכל קריאה ל-curl פותחת חיבור חדש, כך ששורה מתחלפת מראה IP חדש בכל בקשה ושורה קבועה מראה תמיד את אותו IP. לשורת SOCKS5 הגדירו SCHEME="socks5h": -U עובד גם לפרטי כניסה של SOCKS5.
בקשות במקביל
הלולאה שולחת בקשה אחת בכל פעם. כדי להאיץ, העבירו את הכתובות ל-xargs -P או ל-GNU parallel ושמרו על מספר התהליכים בתוך תהליכוני החבילה. החליפו socks5h:// ב-http:// בדגל -x אם יעד עובד טוב יותר ב-HTTP.
קריאת שגיאות curl
- קוד יציאה 7: curl לא הצליח להגיע לפרוקסי. ודאו שהלוח מכיר את כתובת המכונה הזאת.
- קוד יציאה 56 עם "CONNECT tunnel failed, response 407": שם הכניסה או הסיסמה של שורה ביתית שגויים.
- קוד יציאה 28: לבקשה נגמר הזמן. השורה איטית, אז נסו שוב דרך אחרת או העלו את
-m. - קוד יציאה 97: לחיצת היד של SOCKS נכשלה. נסו שוב דרך שורה אחרת או עברו ל-
http://. - HTTP 403 או 429 מהיעד: האתר מגביל את הכתובת, אז פזרו בקשות על יותר שורות.
הצעדים הבאים
לסקרייפר מלא ראו את מדריך Python או את מדריך Node.js. תוכנות כמו ScrapeBox ו-Key Collector קוראות את אותו קובץ ש-cron שומר מעודכן.