proxymix
הגדרת תוכנות

פרוקסי ל-A-Parser: הגדרה של חבילות ושל פרוקסי ביתיים

A-Parser לוקח פרוקסי מכתובת URL וטוען אותם מחדש לפי טיימר, כך שהוא עובד ישירות עם קישור רשימה של ProxyMix, בלי קבצים. שורות ביתיות מתחברות עם פרטי כניסה בהגדרות בודק הפרוקסי.

למה A-Parser וקישור רשימה מתאימים זה לזה

A-Parser טוען פרוקסי מכתובת URL וטוען אותם מחדש לפי טיימר. חבילת ProxyMix היא בדיוק זה: הקישור הרגיל מחזיר את החלק העובד של המאגר כשורות ip:port בטקסט פשוט. מדביקים את הקישור פעם אחת, וכל טעינה מחדש מביאה כתובות טריות בלי קבצים ובלי ניקוי ידני.

לחבילה, הוסיפו קודם את כתובת השרת של A-Parser לרשימת הכתובות המאושרות בלוח של ProxyMix. הפרוקסי סומכים על הכתובת הזאת, כך שאין ברשימה פרטי כניסה ו-A-Parser מתחבר לכל שורה ישירות.

שלב אחר שלב

  1. פתחו את הגדרות בודק הפרוקסי וצרו פריסט חדש או ערכו את ברירת המחדל.
  2. הוסיפו את קישור רשימת ProxyMix כמקור פרוקסי.
  3. קבעו את מרווח הטעינה מחדש ל-10 דקות.
  4. בחרו SOCKS5 כסוג הפרוקסי, או HTTP אם פרסר מסוים צריך אותו.
  5. בכל משימה בחרו את הפריסט וקבעו תהליכונים כך שכל המשימות הפעילות יחד יישארו בתוך מגבלת החבילה.

שמות התפריטים משתנים בין גרסאות של A-Parser. אם שלב נראה אחרת אצלכם, חפשו את הגדרות בודק הפרוקסי ואת רשימת מקורות הפרוקסי.

תהליכונים בכמה משימות

A-Parser סופר תהליכונים לכל משימה, ו-ProxyMix סופרת חיבורים פתוחים לכל חבילה. שלוש משימות עם 500 תהליכונים כל אחת צריכות חבילה של 1,500 תהליכונים לפחות, ועוד מרווח. מעל המגבלה הפרוקסי דוחים את החיבורים העודפים, ו-A-Parser מסמן שורות עובדות כגרועות.

פצלו עבודות גדולות לכמה משימות עם פחות תהליכונים בכל אחת. העומס נשאר אחיד, ואפשר לעצור משימה אחת בלי לגעת באחרות. חבילות של 2,000 עד 5,000 תהליכונים נמצאות בעמוד המחירים.

פרסרים של מנועי חיפוש

פרסרים ל-Google, Yandex ומנועים אחרים נתקלים בקפצ'ות מהר יותר מסורקי אתרים. רשימה גדולה יותר עוזרת: עם אלפי שורות כל כתובת שולחת רק מעט שאילתות. בחרו מאגר לפי המנוע: World MIX ל-Google, מאגר חבר המדינות ל-Yandex, אירופה לדומיינים מקומיים של Google באיחוד.

השאירו את בדיקת הפרוקסי המובנית קלה. המאגר כבר מסיר כתובות מתות, ובדיקה כבדה לפני כל הפעלה רק מעכבת את העבודה.

טיפים

  • עקבו אחרי שיעור הבקשות שנכשלו ביומן המשימה. עלייה פתאומית בדרך כלל אומרת שסך התהליכונים עבר את המגבלה.
  • החזיקו פריסט נפרד של בודק הפרוקסי לכל מאגר אם קניתם כמה חבילות.
  • השאירו את הטעינה מחדש על 10 דקות. טעינה מהירה יותר מואטת ולא מביאה שורות טריות יותר.

קריאת יומן המשימה

A-Parser כותב כל בקשה שנכשלה ליומן המשימה. קפצ'ה או 403 אומרים שהיעד שם לב ליותר מדי בקשות מכתובת אחת: הוסיפו שורות או הורידו תהליכונים. פסקי זמן מצביעים על שורות איטיות, וניסיון חוזר דרך פרוקסי אחר בדרך כלל פותר אותם. אם כל שורה דוחה את החיבור, הלוח מכיר כתובת אחרת: מצאו את הכתובת שהשרת שלכם משתמש בה לתעבורה יוצאת ואשרו אותה.

שורות ביתיות ב-A-Parser

קחו פרוקסי ביתיים ליעדים שחוסמים טווחי מרכזי נתונים, עם שורת «מדינה» של המדינה שאתם צריכים. שורה מתחלפת מקבלת כתובת חדשה בכל חיבור חדש, כך ששורה אחת משרתת את כל התהליכונים של משימה.

  1. צרו פריסט של בודק הפרוקסי עבור השורה הביתית.
  2. כתבו את המארח והפורט של השורה ברשימת הפרוקסי בתור host:port.
  3. הפעילו את Use proxy authorization ומלאו את Authorization login ו-Authorization password מתוך השורה.
  4. בחרו את סוג הפרוקסי שמתאים לשורה: HTTP או SOCKS5.
  5. בחרו בפריסט הזה במשימות שצריכות כתובות ביתיות.

כמה שורות עם פרטי כניסה שונים נכנסות לרשימה בתור login:password@host:port, אחת בכל שורה, ואז Use proxy authorization לבדו מספיק. תעבורה ביתית מחויבת לפי ג'יגה-בייט, אז השאירו על חבילה מנתחים כבדים שמורידים עמודים שלמים.

בדקו לפני שמשלמים

בקשו מהתמיכה שעת ניסיון חינם על כל חבילה והריצו עליה משימת A-Parser אמיתית. תשלום, השהיות וקצב הרענון מוסברים בשאלות הנפוצות, וסקרייפרים בקוד במדריך Python.

שאלות

שאלות

כל השאלות
צריך לבדוק את הפרוקסי ב-A-Parser?

המאגר כבר מסיר כתובות מתות. בדיקה קלה בסדר, ובדיקה כבדה רק מאטה את ההתחלה.

כמה תהליכונים אפשר להריץ?

כמה שהחבילה מאפשרת בסך הכול בכל המשימות, מ-300 עד 5,000.

A-Parser יכול להשתמש בשורות SOCKS5?

כן. כל פורט מדבר SOCKS5 ו-HTTP, אז בחרו את הסוג בהגדרות בודק הפרוקסי.

A-Parser עובד עם פרוקסי ביתיים?

כן. או host:port ברשימה ושם הכניסה והסיסמה בבודק הפרוקסי עם Use proxy authorization מופעל, או שורות בפורמט login:password@host:port.

מוכנים לנסות?

טענו יתרה, צרו רשימה מהסוג והמדינה הרצויים ובדקו את המאגר באתר שלכם. 1 GB לניסיון עולה מ-‎$0.27, והתעבורה בתוקף שלושה חודשים.

הרכבת הזמנה