proxymix
הגדרת תוכנות

פרוקסי ל-Key Collector: הגדרה של חבילות ושל רוטציה

Key Collector קורא פרוקסי מקובץ או מהלוח הגזירים. החזיקו קובץ ש-cron מרענן כל 10 דקות וייבאו אותו לפני כל סשן ארוך. שורות ביתיות נכנסות לטבלת הפרוקסי כפרוקסי HTTP עם פרטי כניסה.

איך Key Collector משתמש בפרוקסי

Key Collector שולח הרבה בקשות לשירותי Yandex ולמנועי חיפוש: Wordstat, הצעות חיפוש, עמודי תוצאות לבדיקת תחרות. כתובת IP אחת נתקלת במגבלות תוך דקות, ולכן התוכנה מפזרת בקשות על רשימת פרוקסי. היא קוראת את הרשימה מקובץ או מהלוח, כך שקישור ProxyMix צריך צעד נוסף אחד: הורדה מתוזמנת לקובץ.

לחבילה, הלוח של ProxyMix צריך להכיר את כתובת המחשב שעליו רץ Key Collector. הפרוקסי מזהים אותה, כך שאין ברשימה פרטי כניסה.

שלב אחר שלב

  1. הגדירו הורדה מתוזמנת של הרשימה לקובץ: שורת ה-crontab למטה, או מתזמן המשימות ב-Windows.
  2. פתחו את הגדרות הרשת ב-Key Collector והפעילו שימוש בפרוקסי.
  3. ייבאו את הקובץ עם הרשימה.
  4. קבעו את תהליכוני האיסוף בתוך מגבלת החבילה.
  5. ייבאו את הקובץ שוב לפני כל סשן איסוף ארוך.

קובץ שנשאר מעודכן

בשרת או ב-Mac שורת ה-crontab הזאת כותבת את הקובץ מחדש כל 10 דקות. ב-Windows, מתזמן המשימות מריץ את אותה הורדה באותו לוח זמנים.

crontab
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txt

איזה מאגר ל-Yandex ול-Google

Yandex מציג תוצאות ונתוני Wordstat לפי אזור ומתייחס לכתובות זרות בחשדנות רבה יותר. מאגר חבר המדינות נותן כתובות מרוסיה, קזחסטן, בלארוס ומדינות שכנות, וזה מתאים לאיסוף מ-Yandex. למחקר מילות מפתח ב-Google קחו World MIX, או אירופה לשווקים אירופיים. המחירים של כל מאגר נמצאים בעמוד המחירים.

טיפים

  • אספו בכמה סשנים קצרים יותר ורעננו את הקובץ ביניהם.
  • הורידו תהליכונים אם שיעור השגיאות עולה: Yandex מגיב גם לפרצי בקשות מהרבה כתובות בבת אחת.
  • החזיקו קובץ נפרד לכל מאגר אם אתם עובדים עם כמה אזורים.

Wordstat, הצעות ותוצאות

איסוף מ-Wordstat מעמיס על שירותי Yandex יותר מכל השאר, אז תנו לו הכי מעט תהליכונים והכי הרבה השהיות. הצעות חיפוש הן בקשות קלות יותר ועובדות טוב עם יותר תהליכונים. בדיקות תחרות מבקשות עמודי תוצאות מלאים ומגיבות לפרצים, אז העלו תהליכונים בהדרגה ועקבו אחרי יומן השגיאות.

שורות ביתיות ב-Key Collector

Key Collector עובד דרך פרוקסי HTTP ושומר את שם הכניסה והסיסמה בעמודות משלהן בטבלת הפרוקסי שבהגדרות הרשת. הוסיפו שם שורה ביתית מסוג HTTP: כתובת, פורט, שם כניסה וסיסמה.

עמודת הכתובת מצפה ל-IP. אם השורה שלכם מתחילה בשם מארח, הריצו עליו nslookup וכתבו את הכתובת שהוא מחזיר. ל-Yandex קחו שורת «מדינה» שהמדינה שלה רוסיה. האיסוף שולח הרבה בקשות קטנות, אז עקבו אחרי מונה התעבורה בלוח בסשן הראשון.

ניסיון חינם

אחרי אימות החשבון בקשו מהתמיכה שעה בחינם בחבילת חבר המדינות והריצו איסוף קטן. השאלות הנפוצות מסבירות תשלום, השהיות וכללי רענון.

שאלות

שאלות

כל השאלות
Key Collector יכול לטעון את הרשימה מקישור?

הוא עובד עם קבצים ועם הלוח, אז השתמשו בשורת ה-cron כדי להחזיק קובץ טרי.

איזה מאגר מתאים ל-Yandex?

מאגר חבר המדינות: הכתובות שלו שייכות לאזור ש-Yandex משרת.

כל כמה זמן לייבא את הקובץ מחדש?

לפני כל סשן ארוך. הקובץ עצמו מתעדכן כל 10 דקות ברגע שההורדה המתוזמנת רצה.

Key Collector יכול להשתמש בפרוקסי ביתיים?

כן, כפרוקסי HTTP עם פרטי כניסה: מלאו את עמודות הכתובת, הפורט, שם הכניסה והסיסמה. עמודת הכתובת מקבלת IP, אז פענחו קודם את שם המארח.

מוכנים לנסות?

טענו יתרה, צרו רשימה מהסוג והמדינה הרצויים ובדקו את המאגר באתר שלכם. 1 GB לניסיון עולה מ-‎$0.27, והתעבורה בתוקף שלושה חודשים.

הרכבת הזמנה