proxymix
Приклади коду

Ротація проксі в Python: urllib, requests і SOCKS5

Два робочі приклади: один використовує лише стандартну бібліотеку, другий requests із SOCKS5. Обидва беруть випадковий рядок зі списку на кожен запит.

Що знадобиться

Python 3 і посилання на список ProxyMix для пакета або резидентний рядок із панелі. Для пакета дозвольте в панелі адресу машини зі скриптом; проксі її розпізнають, тому цей код не передає логінів. Перший приклад використовує лише стандартну бібліотеку й працює на будь-якому Python 3. Другий використовує requests із підтримкою SOCKS5.

Встановіть пакети для другого прикладу: pip install "requests[socks]".

Стандартна бібліотека та HTTP-проксі

Скрипт один раз завантажує список, вибирає випадковий рядок і надсилає через нього один запит. Відповідь ifconfig.me показує адресу, яку бачать сайти.

Стандартна бібліотека, HTTP
import random
from urllib.request import ProxyHandler, build_opener, urlopen

LIST_URL = "YOUR_LIST_LINK"

lines = urlopen(LIST_URL, timeout=30).read().decode().split()
picked = random.choice(lines)
endpoint = f"http://{picked}"
opener = build_opener(ProxyHandler(dict.fromkeys(("http", "https"), endpoint)))
seen_as = opener.open("https://ifconfig.me/ip", timeout=20).read().decode()
print(f"{picked} -> {seen_as}")

requests із SOCKS5

Другий приклад надсилає три запити, кожен через свій випадковий проксі. Зі схемою socks5h імена доменів розв'язує проксі, і ваш сервер не надсилає DNS-запиту до цілі.

requests із SOCKS5
import random
import requests

LIST_URL = "YOUR_LIST_LINK"

pool = requests.get(LIST_URL, timeout=30).text.split()
with requests.Session() as session:
    for line in random.sample(pool, k=min(3, len(pool))):
        session.proxies = dict.fromkeys(("http", "https"), f"socks5h://{line}")
        answer = session.get("https://ifconfig.me/ip", timeout=20)
        print(f"{line} -> {answer.text.strip()}")

Резидентні рядки з логіном

Резидентний рядок має власний логін, тому код передає його в URL проксі. quote кодує символи на кшталт @ і : у логіні й паролі, інакше requests розріже URL не в тому місці. Вставте рядок із панелі в LINE.

requests із резидентним рядком
import requests
from urllib.parse import quote

LINE = "HOST:PORT:LOGIN:PASSWORD"

host, port, login, password = LINE.split(":", 3)
proxy = f"http://{quote(login, safe='')}:{quote(password, safe='')}@{host}:{port}"
for _ in range(3):
    answer = requests.get("https://ifconfig.me/ip", proxies={"http": proxy, "https": proxy}, timeout=20)
    print(answer.text.strip())

Кожен requests.get відкриває нове з'єднання, тож ротаційний рядок щоразу відповідає з нової адреси. У межах Session requests тримає з'єднання живим, і запити виходять через одну IP, доки воно не закриється. Фіксований рядок зберігає адресу в обох випадках. Для рядка SOCKS5 змініть схему на socks5h://.

Від прикладу до парсера

  • На довгих прогонах завантажуйте список заново раз на 8–10 хвилин. Тримайте його в змінній і замінюйте за таймером, а не завантажуйте перед кожним запитом.
  • Перехоплюйте тайм-аути й помилки з'єднання та повторюйте запит через інший рядок, бо частина рядків великого списку буде повільною.
  • Тримайте паралельність нижче потоків пакета. У пулі потоків або asyncio задайте розмір пулу менший за ліміт.
  • Для asyncio беріть aiohttp з HTTP-проксі або пакет із SOCKS-конектором. Логіка ротації не змінюється.

Можливі помилки

  • ProxyError або відхилене з'єднання на кожному рядку: панель ще не знає адреси вашої машини.
  • ProxyError із "Tunnel connection failed: 407": неправильний логін або пароль резидентного рядка.
  • ConnectTimeout або ReadTimeout: рядок повільний або вийшов з пулу, повторіть через інший.
  • 403 або сторінка з капчею: ціль обмежує адресу, тож розподіліть навантаження на більше рядків і сповільніться.
  • SSLError через проксі: зазвичай зламаний рядок, повторіть через інший.

Що далі

Інструкція для Node.js і інструкція для curl показують ту саму ротацію іншими мовами. Пакети й потоки є на сторінці цін, а список безкоштовних проксі допоможе перевірити код до покупки.

Питання

Питання

Усі питання
Як часто скрипт має перезавантажувати список?

Раз на 8–10 хвилин для довгих прогонів. Короткий скрипт може завантажити його один раз на старті.

А як з asyncio?

Той самий підхід з aiohttp: тримайте рядки в змінній і давайте кожному запиту власний проксі.

Яку схему проксі використовувати в requests?

socks5h, коли проксі має сам розв'язувати доменні імена, http:// для звичайних HTTP-проксі. Обидва варіанти працюють із кожним рядком пакета.

Як передати резидентний логін у requests?

Запишіть його в URL проксі як http://login:password@host:port і закодуйте логін і пароль через urllib.parse.quote.

Готові спробувати?

Поповніть баланс, створіть список потрібного типу і країни та перевірте пул на своєму сайті. 1 ГБ на пробу коштує від $0,27, трафік живе три місяці.

Зібрати замовлення