Що знадобиться
Python 3 і посилання на список ProxyMix для пакета або резидентний рядок із панелі. Для пакета дозвольте в панелі адресу машини зі скриптом; проксі її розпізнають, тому цей код не передає логінів. Перший приклад використовує лише стандартну бібліотеку й працює на будь-якому Python 3. Другий використовує requests із підтримкою SOCKS5.
Встановіть пакети для другого прикладу: pip install "requests[socks]".
Стандартна бібліотека та HTTP-проксі
Скрипт один раз завантажує список, вибирає випадковий рядок і надсилає через нього один запит. Відповідь ifconfig.me показує адресу, яку бачать сайти.
import random
from urllib.request import ProxyHandler, build_opener, urlopen
LIST_URL = "YOUR_LIST_LINK"
lines = urlopen(LIST_URL, timeout=30).read().decode().split()
picked = random.choice(lines)
endpoint = f"http://{picked}"
opener = build_opener(ProxyHandler(dict.fromkeys(("http", "https"), endpoint)))
seen_as = opener.open("https://ifconfig.me/ip", timeout=20).read().decode()
print(f"{picked} -> {seen_as}")requests із SOCKS5
Другий приклад надсилає три запити, кожен через свій випадковий проксі. Зі схемою socks5h імена доменів розв'язує проксі, і ваш сервер не надсилає DNS-запиту до цілі.
import random
import requests
LIST_URL = "YOUR_LIST_LINK"
pool = requests.get(LIST_URL, timeout=30).text.split()
with requests.Session() as session:
for line in random.sample(pool, k=min(3, len(pool))):
session.proxies = dict.fromkeys(("http", "https"), f"socks5h://{line}")
answer = session.get("https://ifconfig.me/ip", timeout=20)
print(f"{line} -> {answer.text.strip()}")Резидентні рядки з логіном
Резидентний рядок має власний логін, тому код передає його в URL проксі. quote кодує символи на кшталт @ і : у логіні й паролі, інакше requests розріже URL не в тому місці. Вставте рядок із панелі в LINE.
import requests
from urllib.parse import quote
LINE = "HOST:PORT:LOGIN:PASSWORD"
host, port, login, password = LINE.split(":", 3)
proxy = f"http://{quote(login, safe='')}:{quote(password, safe='')}@{host}:{port}"
for _ in range(3):
answer = requests.get("https://ifconfig.me/ip", proxies={"http": proxy, "https": proxy}, timeout=20)
print(answer.text.strip())Кожен requests.get відкриває нове з'єднання, тож ротаційний рядок щоразу відповідає з нової адреси. У межах Session requests тримає з'єднання живим, і запити виходять через одну IP, доки воно не закриється. Фіксований рядок зберігає адресу в обох випадках. Для рядка SOCKS5 змініть схему на socks5h://.
Від прикладу до парсера
- На довгих прогонах завантажуйте список заново раз на 8–10 хвилин. Тримайте його в змінній і замінюйте за таймером, а не завантажуйте перед кожним запитом.
- Перехоплюйте тайм-аути й помилки з'єднання та повторюйте запит через інший рядок, бо частина рядків великого списку буде повільною.
- Тримайте паралельність нижче потоків пакета. У пулі потоків або asyncio задайте розмір пулу менший за ліміт.
- Для asyncio беріть aiohttp з HTTP-проксі або пакет із SOCKS-конектором. Логіка ротації не змінюється.
Можливі помилки
- ProxyError або відхилене з'єднання на кожному рядку: панель ще не знає адреси вашої машини.
- ProxyError із "Tunnel connection failed: 407": неправильний логін або пароль резидентного рядка.
- ConnectTimeout або ReadTimeout: рядок повільний або вийшов з пулу, повторіть через інший.
- 403 або сторінка з капчею: ціль обмежує адресу, тож розподіліть навантаження на більше рядків і сповільніться.
- SSLError через проксі: зазвичай зламаний рядок, повторіть через інший.
Що далі
Інструкція для Node.js і інструкція для curl показують ту саму ротацію іншими мовами. Пакети й потоки є на сторінці цін, а список безкоштовних проксі допоможе перевірити код до покупки.