proxymix
דוגמאות קוד

החלפת פרוקסי ב-Python: ספריות urllib, requests ו-SOCKS5

שתי דוגמאות עובדות: אחת משתמשת רק בספרייה הסטנדרטית, השנייה ב-requests עם SOCKS5. שתיהן לוקחות שורה אקראית מהרשימה לכל בקשה.

מה צריך

Python 3 וקישור רשימה של ProxyMix לחבילה, או שורה ביתית מהלוח. לחבילה, אשרו בלוח את כתובת המכונה שמריצה את הסקריפט; הפרוקסי מזהים אותה, ולכן הקוד הזה לא מעביר פרטי כניסה. הדוגמה הראשונה משתמשת רק בספרייה הסטנדרטית ורצה על כל Python 3. השנייה משתמשת ב-requests עם תמיכה ב-SOCKS5.

התקינו את החבילות לדוגמה השנייה: pip install "requests[socks]".

ספרייה סטנדרטית ופרוקסי HTTP

הסקריפט מוריד את הרשימה פעם אחת, בוחר שורה אקראית ושולח דרכה בקשה אחת. התשובה מ-ifconfig.me מראה את הכתובת שאתרים רואים.

ספרייה סטנדרטית, HTTP
import random
from urllib.request import ProxyHandler, build_opener, urlopen

LIST_URL = "YOUR_LIST_LINK"

lines = urlopen(LIST_URL, timeout=30).read().decode().split()
picked = random.choice(lines)
endpoint = f"http://{picked}"
opener = build_opener(ProxyHandler(dict.fromkeys(("http", "https"), endpoint)))
seen_as = opener.open("https://ifconfig.me/ip", timeout=20).read().decode()
print(f"{picked} -> {seen_as}")

requests עם SOCKS5

הדוגמה השנייה שולחת שלוש בקשות, כל אחת דרך פרוקסי אקראי משלה. עם הסכמה socks5h הפרוקסי מתרגם שמות דומיין, והשרת שלכם לא שולח שאילתת DNS ליעד.

requests עם SOCKS5
import random
import requests

LIST_URL = "YOUR_LIST_LINK"

pool = requests.get(LIST_URL, timeout=30).text.split()
with requests.Session() as session:
    for line in random.sample(pool, k=min(3, len(pool))):
        session.proxies = dict.fromkeys(("http", "https"), f"socks5h://{line}")
        answer = session.get("https://ifconfig.me/ip", timeout=20)
        print(f"{line} -> {answer.text.strip()}")

שורות ביתיות עם פרטי כניסה

שורה ביתית נושאת שם כניסה משלה, ולכן הקוד מעביר אותו בכתובת הפרוקסי. quote מקודד תווים כמו @ ו-: בשם הכניסה ובסיסמה, אחרת requests יפצל את הכתובת במקום הלא נכון. הדביקו שורה מהלוח ב-LINE.

requests עם שורה ביתית
import requests
from urllib.parse import quote

LINE = "HOST:PORT:LOGIN:PASSWORD"

host, port, login, password = LINE.split(":", 3)
proxy = f"http://{quote(login, safe='')}:{quote(password, safe='')}@{host}:{port}"
for _ in range(3):
    answer = requests.get("https://ifconfig.me/ip", proxies={"http": proxy, "https": proxy}, timeout=20)
    print(answer.text.strip())

כל requests.get פותח חיבור חדש, כך ששורה מתחלפת עונה בכל פעם מכתובת חדשה. בתוך Session requests שומר את החיבור חי, והבקשות יוצאות דרך IP אחד עד שהוא נסגר. שורה קבועה שומרת על הכתובת שלה בשני המקרים. לשורת SOCKS5 שנו את הסכמה ל-socks5h://.

מדוגמה לסקרייפר

  • בהרצות ארוכות משכו את הרשימה מחדש כל 8 עד 10 דקות. החזיקו אותה במשתנה והחליפו אותה לפי טיימר, במקום להוריד אותה לפני כל בקשה.
  • תפסו פסקי זמן ושגיאות חיבור ונסו שוב דרך שורה אחרת, כי חלק מהשורות ברשימה גדולה יהיו איטיות.
  • שמרו על מקביליות מתחת לתהליכוני החבילה. עם מאגר תהליכונים או asyncio, קבעו את גודל המאגר מתחת למגבלה.
  • ל-asyncio קחו aiohttp עם פרוקסי HTTP או חבילת מחבר SOCKS. הלוגיקה של ההחלפה נשארת זהה.

שגיאות שאולי תראו

  • ProxyError או חיבור שנדחה בכל שורה: הלוח עוד לא מכיר את כתובת המכונה שלכם.
  • ProxyError עם "Tunnel connection failed: 407": שם הכניסה או הסיסמה של שורה ביתית שגויים.
  • ConnectTimeout או ReadTimeout: השורה איטית או יצאה מהמאגר, נסו שוב דרך אחרת.
  • 403 או עמוד קפצ'ה: היעד מגביל את הכתובת, אז פזרו את העומס על יותר שורות והאטו.
  • SSLError דרך פרוקסי: בדרך כלל שורה שבורה, נסו שוב דרך אחרת.

הצעדים הבאים

מדריך Node.js ומדריך curl מראים את אותה החלפה בשפות אחרות. חבילות ותהליכונים נמצאים בעמוד המחירים, ורשימת הפרוקסי החינמית עוזרת לבדוק את הקוד לפני קנייה.

שאלות

שאלות

כל השאלות
כל כמה זמן הסקריפט צריך לטעון את הרשימה מחדש?

כל 8 עד 10 דקות בהרצות ארוכות. סקריפט קצר יכול לטעון אותה פעם אחת בהתחלה.

ומה עם asyncio?

השתמשו באותה גישה עם aiohttp: החזיקו את השורות במשתנה ותנו לכל בקשה פרוקסי משלה.

באיזו סכמת פרוקסי להשתמש ב-requests?

socks5h כשהפרוקסי צריך לפענח שמות דומיין, ו-http:// לפרוקסי HTTP רגילים. שניהם עובדים עם כל שורת חבילה.

איך מעבירים פרטי כניסה ביתיים ב-requests?

כתבו אותם בכתובת הפרוקסי בתור http://login:password@host:port וקודדו את שם הכניסה והסיסמה עם urllib.parse.quote.

מוכנים לנסות?

טענו יתרה, צרו רשימה מהסוג והמדינה הרצויים ובדקו את המאגר באתר שלכם. 1 GB לניסיון עולה מ-‎$0.27, והתעבורה בתוקף שלושה חודשים.

הרכבת הזמנה