proxymix
Примеры кода

curl и bash со списком прокси: запросы, циклы и cron

curl работает с HTTP и SOCKS5 прокси одним флагом. Эти скрипты берут случайные строки из вашего списка для быстрой проверки или для цикла по многим URL.

Что понадобится

curl и coreutils, они есть на любом Linux-сервере и на macOS с Homebrew. curl работает с HTTP и SOCKS5 прокси через один флаг -x. Для пакета сначала разрешите адрес этой машины в панели ProxyMix, после этого логины не нужны.

Один запрос через случайный прокси

Первый скрипт скачивает список, берёт случайную строку через shuf и отправляет через неё один запрос. tr убирает переводы строк Windows, если они попадутся.

Один запрос через случайный прокси
LIST_URL="YOUR_LIST_LINK"
PROXY=$(curl -fsS "$LIST_URL" | tr -d '\r' | shuf -n 1)
curl -x "socks5h://$PROXY" https://ifconfig.me/ip

Цикл по многим URL

Второй скрипт читает urls.txt и отправляет каждый URL через свой случайный прокси. Он печатает HTTP-код, URL и прокси, так что ошибки видны сразу.

Цикл по urls.txt
LIST_URL="YOUR_LIST_LINK"
curl -fsS "$LIST_URL" | tr -d '\r' > proxies.txt
while read -r url; do
  proxy=$(shuf -n 1 proxies.txt)
  curl -s -m 20 -x "socks5h://$proxy" -o /dev/null -w "%{http_code} $url via $proxy\n" "$url"
done < urls.txt

Файл списка, который обновляет cron

Для программ, которые читают файл, эта строка скачивает список раз в 10 минут и подменяет файл только после полной загрузки.

crontab
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txt

Резидентные строки с логином

curl принимает логин резидентной строки через -U, поэтому пароль не нужно кодировать, даже если в нём есть : или @. Скрипт разбирает строку, шлёт три запроса и печатает адрес, с которого пришёл каждый.

curl с резидентной строкой
LINE="HOST:PORT:LOGIN:PASSWORD"
SCHEME="http"
IFS=: read -r GATE GATE_PORT USER_ID USER_KEY <<< "$LINE"
for i in 1 2 3; do
  curl -sS -m 20 -x "$SCHEME://$GATE:$GATE_PORT" -U "$USER_ID:$USER_KEY" https://ifconfig.me/ip
  echo
done

Каждый вызов curl открывает новое соединение, поэтому ротационная строка показывает новый IP на каждом запросе, а закреплённая один и тот же. Для SOCKS5-строки поставьте SCHEME="socks5h": -U работает и с логином SOCKS5.

Параллельные запросы

Цикл отправляет запросы по одному. Чтобы ускориться, передайте URL в xargs -P или GNU parallel и держите число процессов в пределах потоков пакета. Если сайт лучше работает по HTTP, замените socks5h:// на http:// во флаге -x.

Как читать ошибки curl

  • Код выхода 7: curl не достучался до прокси. Убедитесь, что в панели указан адрес этой машины.
  • Код выхода 56 с текстом «CONNECT tunnel failed, response 407»: логин или пароль резидентной строки неверный.
  • Код выхода 28: запрос не уложился в таймаут. Строка медленная, повторите через другую или увеличьте -m.
  • Код выхода 97: не прошло SOCKS-рукопожатие. Повторите через другую строку или переключитесь на http://.
  • HTTP 403 или 429 от сайта: сайт ограничивает адрес, разложите запросы на больше строк.

Что дальше

Для полноценного парсера смотрите инструкцию для Python или инструкцию для Node.js. Программы вроде ScrapeBox и Key Collector читают тот же файл, который обновляет cron.

Вопросы

Вопросы

Все вопросы
Как использовать HTTP вместо SOCKS5?

Замените socks5h:// на http:// во флаге -x.

Как запустить много запросов сразу?

Передайте URL в xargs -P или GNU parallel и держите число процессов в пределах потоков пакета.

Как передать curl логин резидентной строки?

Через -U login:password рядом с -x http://host:port, а для SOCKS5-строки socks5h://host:port.

Готовы попробовать?

Пополните баланс, создайте список нужного типа и страны и проверьте пул на своём сайте. 1 ГБ на пробу стоит от $0,27, трафик живёт три месяца.

Собрать заказ