איך Key Collector משתמש בפרוקסי
Key Collector שולח הרבה בקשות לשירותי Yandex ולמנועי חיפוש: Wordstat, הצעות חיפוש, עמודי תוצאות לבדיקת תחרות. כתובת IP אחת נתקלת במגבלות תוך דקות, ולכן התוכנה מפזרת בקשות על רשימת פרוקסי. היא קוראת את הרשימה מקובץ או מהלוח, כך שקישור ProxyMix צריך צעד נוסף אחד: הורדה מתוזמנת לקובץ.
לחבילה, הלוח של ProxyMix צריך להכיר את כתובת המחשב שעליו רץ Key Collector. הפרוקסי מזהים אותה, כך שאין ברשימה פרטי כניסה.
שלב אחר שלב
- הגדירו הורדה מתוזמנת של הרשימה לקובץ: שורת ה-crontab למטה, או מתזמן המשימות ב-Windows.
- פתחו את הגדרות הרשת ב-Key Collector והפעילו שימוש בפרוקסי.
- ייבאו את הקובץ עם הרשימה.
- קבעו את תהליכוני האיסוף בתוך מגבלת החבילה.
- ייבאו את הקובץ שוב לפני כל סשן איסוף ארוך.
קובץ שנשאר מעודכן
בשרת או ב-Mac שורת ה-crontab הזאת כותבת את הקובץ מחדש כל 10 דקות. ב-Windows, מתזמן המשימות מריץ את אותה הורדה באותו לוח זמנים.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtאיזה מאגר ל-Yandex ול-Google
Yandex מציג תוצאות ונתוני Wordstat לפי אזור ומתייחס לכתובות זרות בחשדנות רבה יותר. מאגר חבר המדינות נותן כתובות מרוסיה, קזחסטן, בלארוס ומדינות שכנות, וזה מתאים לאיסוף מ-Yandex. למחקר מילות מפתח ב-Google קחו World MIX, או אירופה לשווקים אירופיים. המחירים של כל מאגר נמצאים בעמוד המחירים.
טיפים
- אספו בכמה סשנים קצרים יותר ורעננו את הקובץ ביניהם.
- הורידו תהליכונים אם שיעור השגיאות עולה: Yandex מגיב גם לפרצי בקשות מהרבה כתובות בבת אחת.
- החזיקו קובץ נפרד לכל מאגר אם אתם עובדים עם כמה אזורים.
Wordstat, הצעות ותוצאות
איסוף מ-Wordstat מעמיס על שירותי Yandex יותר מכל השאר, אז תנו לו הכי מעט תהליכונים והכי הרבה השהיות. הצעות חיפוש הן בקשות קלות יותר ועובדות טוב עם יותר תהליכונים. בדיקות תחרות מבקשות עמודי תוצאות מלאים ומגיבות לפרצים, אז העלו תהליכונים בהדרגה ועקבו אחרי יומן השגיאות.
שורות ביתיות ב-Key Collector
Key Collector עובד דרך פרוקסי HTTP ושומר את שם הכניסה והסיסמה בעמודות משלהן בטבלת הפרוקסי שבהגדרות הרשת. הוסיפו שם שורה ביתית מסוג HTTP: כתובת, פורט, שם כניסה וסיסמה.
עמודת הכתובת מצפה ל-IP. אם השורה שלכם מתחילה בשם מארח, הריצו עליו nslookup וכתבו את הכתובת שהוא מחזיר. ל-Yandex קחו שורת «מדינה» שהמדינה שלה רוסיה. האיסוף שולח הרבה בקשות קטנות, אז עקבו אחרי מונה התעבורה בלוח בסשן הראשון.
ניסיון חינם
אחרי אימות החשבון בקשו מהתמיכה שעה בחינם בחבילת חבר המדינות והריצו איסוף קטן. השאלות הנפוצות מסבירות תשלום, השהיות וכללי רענון.