שתי דרכים להזין את ScrapeBox
ScrapeBox יכול לקצור פרוקסי ממקור מותאם או לטעון אותם מקובץ. הקוצר מתאים לסשנים קצרים: קוצרים את קישור ProxyMix, מעבירים את התוצאה לרשימת הפרוקסי ומתחילים. הרצות ארוכות עובדות טוב יותר עם קובץ שמתזמן כותב מחדש כל 10 דקות, ואז טוענים אותו מחדש בכל פעם ששיעור השגיאות עולה.
לחבילה, הוסיפו את כתובת המחשב של ScrapeBox לרשימה המאושרת בלוח של ProxyMix לפני הקציר הראשון.
שלב אחר שלב
- פתחו את Proxy Harvester והוסיפו את קישור הרשימה כמקור מותאם.
- הריצו קציר, ואז העבירו את התוצאה לרשימת הפרוקסי בחלון הראשי.
- סמנו את הפרוקסי כ-SOCKS בהגדרות הפרוקסי, או השתמשו בשורות כ-HTTP.
- קבעו את מספר החיבורים המרבי לא מעל תהליכוני החבילה.
- בהרצות של יותר משעה, קצרו שוב כל 10 דקות או טענו את הקובץ שהמתזמן שומר מעודכן.
קובץ שנשאר מעודכן
שורת ה-crontab למטה מורידה את הרשימה כל 10 דקות ומחליפה את הקובץ רק אחרי הורדה מלאה. ב-Windows, מתזמן המשימות מריץ את אותה הורדה באותו לוח זמנים.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtחיבורים ומנועי חיפוש
ScrapeBox פותח הרבה חיבורים לכל מנוע חיפוש, והמנועים חוסמים מהר. שמרו על מספר מתון של חיבורים לכל מנוע, קחו רשימה גדולה יותר ותנו לקוצר לפזר בקשות על יותר כתובות. תהליכוני החבילה מגבילים את הסך בכל המנועים.
וותרו על בדיקת הפרוקסי המובנית אחרי כל קציר. המאגר מגיש כתובות עובדות, ובדיקה של אלפי שורות רק שורפת תהליכונים.
טיפים
- הרבה פרוקסי מסומנים כנכשלים? הורידו קודם את החיבורים: חיבורים עודפים נדחים ונראים כמו שורות מתות.
- השתמשו במאגר חבר המדינות ל-Yandex וב-World MIX ל-Google.
- שמרו רשימות שנקצרו עם התאריך בשם הקובץ, כדי שלא תטענו עותק ישן.
משימות ScrapeBox שמתאימות לרשימה
- קציר כתובות URL מתוצאות חיפוש לרשימת מילות מפתח.
- בדיקה אילו עמודים מנוע חיפוש אינדקס.
- איסוף הצעות למילות מפתח ובדיקת קישורים נכנסים.
- בדיקה המונית של קודי תגובה לרשימות URL.
כולן שולחות הרבה בקשות קצרות. ככל שיש יותר שורות ברשימה, כל כתובת מקבלת פחות בקשות.
שורות ביתיות ב-ScrapeBox
ScrapeBox קורא פרוקסי עם פרטי כניסה בתור host:port:login:password, אותו פורמט שהלוח נותן, אז הדביקו את השורות כמו שהן דרך הלוח הגזירים. השתמשו בהן כפרוקסי HTTP: צרו בלוח שורות HTTP והשאירו את סימון SOCKS כבוי.
שורת «מדינה» מתחלפת מפזרת את בקשות הקוצר על כתובות ביתיות כשמנוע חיפוש חוסם טווחי מרכזי נתונים. קציר מוריד הרבה עמודי תוצאות ותעבורה ביתית מחויבת לפי ג'יגה-בייט, ולכן קציר המוני נשאר זול יותר על חבילה.
בדיקה לפני קנייה
אחרי אימות החשבון בקשו מהתמיכה שעה בחינם והריצו קציר אמיתי. מגבלות התהליכונים בעמוד המחירים, והמדריך ל-curl מראה את אותה רשימה בסקריפטים של shell.