proxymix
Примеры кода

Ротация прокси в Python: urllib, requests и SOCKS5

Два рабочих примера: первый только на стандартной библиотеке, второй на requests с SOCKS5. Оба берут случайную строку из вашего списка на каждый запрос.

Что понадобится

Python 3 и ссылка на список пакета ProxyMix или резидентная строка из панели. Для пакета разрешите в панели адрес машины со скриптом: прокси узнают его, и этому коду не нужны логины. Первый пример использует только стандартную библиотеку и работает на любом Python 3. Второй использует requests с поддержкой SOCKS5.

Для второго примера поставьте пакеты: pip install "requests[socks]".

Стандартная библиотека и HTTP-прокси

Скрипт один раз скачивает список, берёт случайную строку и отправляет через неё один запрос. Ответ ifconfig.me показывает адрес, который видят сайты.

Стандартная библиотека, HTTP
import random
from urllib.request import ProxyHandler, build_opener, urlopen

LIST_URL = "YOUR_LIST_LINK"

lines = urlopen(LIST_URL, timeout=30).read().decode().split()
picked = random.choice(lines)
endpoint = f"http://{picked}"
opener = build_opener(ProxyHandler(dict.fromkeys(("http", "https"), endpoint)))
seen_as = opener.open("https://ifconfig.me/ip", timeout=20).read().decode()
print(f"{picked} -> {seen_as}")

requests с SOCKS5

Второй пример отправляет три запроса, каждый через свой случайный прокси. Со схемой socks5h доменные имена разрешает прокси, и ваш сервер не отправляет DNS-запрос к целевому сайту.

requests с SOCKS5
import random
import requests

LIST_URL = "YOUR_LIST_LINK"

pool = requests.get(LIST_URL, timeout=30).text.split()
with requests.Session() as session:
    for line in random.sample(pool, k=min(3, len(pool))):
        session.proxies = dict.fromkeys(("http", "https"), f"socks5h://{line}")
        answer = session.get("https://ifconfig.me/ip", timeout=20)
        print(f"{line} -> {answer.text.strip()}")

Резидентные строки с логином

В резидентной строке свой логин, поэтому код передаёт его в адресе прокси. quote кодирует символы вроде @ и : в логине и пароле, иначе requests разрежет адрес не в том месте. Вставьте строку из панели в LINE.

requests с резидентной строкой
import requests
from urllib.parse import quote

LINE = "HOST:PORT:LOGIN:PASSWORD"

host, port, login, password = LINE.split(":", 3)
proxy = f"http://{quote(login, safe='')}:{quote(password, safe='')}@{host}:{port}"
for _ in range(3):
    answer = requests.get("https://ifconfig.me/ip", proxies={"http": proxy, "https": proxy}, timeout=20)
    print(answer.text.strip())

Каждый requests.get открывает новое соединение, поэтому ротационная строка каждый раз отвечает новым адресом. Внутри Session requests держат соединение открытым, и запросы идут через один IP, пока оно не закроется. Закреплённая строка держит адрес в любом случае. Для SOCKS5-строки замените схему на socks5h://.

От примера к парсеру

  • В долгих прогонах забирайте список заново раз в 8–10 минут. Храните его в переменной и подменяйте по таймеру, а не скачивайте перед каждым запросом.
  • Ловите таймауты и ошибки соединения и повторяйте запрос через другую строку: часть строк большого списка будет медленной.
  • Держите параллельность ниже потоков пакета. В пуле потоков или asyncio ставьте размер пула меньше лимита.
  • Для asyncio берите aiohttp с HTTP-прокси или пакет с SOCKS-коннектором. Логика ротации остаётся той же.

Какие ошибки бывают

  • ProxyError или отказ на каждой строке: адреса вашей машины пока нет в панели.
  • ProxyError с текстом «Tunnel connection failed: 407»: логин или пароль резидентной строки неверный.
  • ConnectTimeout или ReadTimeout: строка медленная или ушла из пула, повторите запрос через другую.
  • Ответ 403 или страница с капчей: сайт ограничивает адрес, разложите нагрузку на больше строк и снизьте темп.
  • SSLError через прокси: обычно это сбойная строка, повторите запрос через другую.

Что дальше

Инструкция для Node.js и инструкция для curl показывают ту же ротацию на других языках. Пакеты и потоки есть на странице цен, а список бесплатных прокси поможет проверить код до покупки.

Вопросы

Вопросы

Все вопросы
Как часто скрипт должен перезагружать список?

Для долгих прогонов раз в 8–10 минут. Короткий скрипт может загрузить его один раз на старте.

А с asyncio?

Та же идея работает с aiohttp: держите список в памяти и передавайте каждому запросу другой прокси.

Какую схему прокси указывать в requests?

socks5h, если доменные имена должен разрешать прокси, и http:// для обычных HTTP-прокси. Обе работают с каждой строкой пакета.

Как передать логин резидентной строки в requests?

Через адрес прокси вида http://login:password@host:port, а логин и пароль закодируйте через urllib.parse.quote.

Готовы попробовать?

Пополните баланс, создайте список нужного типа и страны и проверьте пул на своём сайте. 1 ГБ на пробу стоит от $0,27, трафик живёт три месяца.

Собрать заказ