מתי הכלים של Netpeak צריכים פרוקסי
Netpeak Spider סורק אתרים, ו-Netpeak Checker מושך תוצאות חיפוש ומדדים לרשימות של כתובות URL ומילות מפתח. ביקורת של האתר שלכם כמעט לא צריכה פרוקסי. סריקה של אתרי מתחרים גדולים ובדיקות חיפוש המוניות כן: בלי פרוקסי היעד או מנוע החיפוש מגבילים את הכתובת שלכם, וההרצה מאטה או נעצרת.
שני הכלים מקבלים רשימת פרוקסי בהגדרות ומחליפים אותה בין בקשות. לחבילה, אשרו קודם את כתובת המחשב שלכם בלוח של ProxyMix.
שלב אחר שלב
- הורידו את הרשימה לקובץ או העתיקו אותה מהקישור.
- פתחו את הגדרות הפרוקסי ב-Spider או ב-Checker וטענו את הרשימה מהקובץ או מהלוח.
- השתמשו בשורות כפרוקסי HTTP: Spider מקבל רשימת פרוקסי HTTP, וכל פורט של חבילה עונה ל-HTTP.
- קבעו תהליכונים בתוך מגבלת החבילה.
- הריצו סריקת בדיקה קצרה והסתכלו על שיעור השגיאות.
הגדרות Spider ו-Checker
Spider שולח בקשות לאתר אחד, כך שמהירות הסריקה תלויה בכמה בקשות האתר מוכן לקבל מכל כתובת. העלו תהליכונים בהדרגה ושימו לב לתשובות 429 ו-403. Checker מפזר בקשות בין מנועי חיפוש ושירותים ומרוויח הכי הרבה מרשימה ארוכה.
בקשות דרך פרוקסי לוקחות יותר זמן מבקשות ישירות. העלו מעט את פסק הזמן והוסיפו תהליכונים כדי לשמור על הקצב.
קובץ שנשאר מעודכן
בעותק של אתמול יש הרבה שורות מתות. טענו את הרשימה מחדש לפני כל הרצה גדולה, או החזיקו קובץ שמתזמן כותב מחדש כל 10 דקות:
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtטיפים
- השתמשו באותו קובץ ב-Spider וב-Checker.
- בחרו World MIX לבדיקות חיפוש גלובליות ואת מאגר אירופה או חבר המדינות לתוצאות מקומיות.
- כבו פרוקסי בביקורות של האתר שלכם כדי שהסריקה תישאר פשוטה.
משימות טיפוסיות
- סריקה של אתר מתחרה גדול בלי להיתקל במגבלה שלו לכל IP.
- בדיקת מיקומים וסניפטים לאלפי מילות מפתח ב-Checker.
- משיכת מדדים לרשימות URL ממנועי חיפוש ושירותים.
- בדיקה איך אתר עונה למבקרים ממדינות שונות.
שורות ביתיות ב-Netpeak
Spider מקבל רשימה של שורות host:port:login:password, אותו פורמט שהלוח נותן, אבל המארח חייב להיות כתובת IPv4. הריצו nslookup על המארח של שורה ביתית ושימו את ה-IP במקומו. השתמשו בשורות HTTP.
שורת «מדינה» עם מדינה שנבחרה מראה איך אתר עונה למבקרים מאותה מדינה, ו-Checker יכול להביא תוצאות חיפוש דרך כתובות ביתיות כשמנוע חוסם טווחי מרכזי נתונים. סריקות מורידות עמודים שלמים, אז העריכו את הג'יגה-בייטים לפני הרצה גדולה.
בדקו קודם
אחרי אימות החשבון בקשו מהתמיכה שעה בחינם וסרקו יעד אמיתי. השוו חבילות בעמוד המחירים, ולסורקים משלכם ראו את המדריך ל-Python.