Что понадобится
curl и coreutils, они есть на любом Linux-сервере и на macOS с Homebrew. curl работает с HTTP и SOCKS5 прокси через один флаг -x. Для пакета сначала разрешите адрес этой машины в панели ProxyMix, после этого логины не нужны.
Один запрос через случайный прокси
Первый скрипт скачивает список, берёт случайную строку через shuf и отправляет через неё один запрос. tr убирает переводы строк Windows, если они попадутся.
LIST_URL="YOUR_LIST_LINK"
PROXY=$(curl -fsS "$LIST_URL" | tr -d '\r' | shuf -n 1)
curl -x "socks5h://$PROXY" https://ifconfig.me/ipЦикл по многим URL
Второй скрипт читает urls.txt и отправляет каждый URL через свой случайный прокси. Он печатает HTTP-код, URL и прокси, так что ошибки видны сразу.
LIST_URL="YOUR_LIST_LINK"
curl -fsS "$LIST_URL" | tr -d '\r' > proxies.txt
while read -r url; do
proxy=$(shuf -n 1 proxies.txt)
curl -s -m 20 -x "socks5h://$proxy" -o /dev/null -w "%{http_code} $url via $proxy\n" "$url"
done < urls.txtФайл списка, который обновляет cron
Для программ, которые читают файл, эта строка скачивает список раз в 10 минут и подменяет файл только после полной загрузки.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtРезидентные строки с логином
curl принимает логин резидентной строки через -U, поэтому пароль не нужно кодировать, даже если в нём есть : или @. Скрипт разбирает строку, шлёт три запроса и печатает адрес, с которого пришёл каждый.
LINE="HOST:PORT:LOGIN:PASSWORD"
SCHEME="http"
IFS=: read -r GATE GATE_PORT USER_ID USER_KEY <<< "$LINE"
for i in 1 2 3; do
curl -sS -m 20 -x "$SCHEME://$GATE:$GATE_PORT" -U "$USER_ID:$USER_KEY" https://ifconfig.me/ip
echo
doneКаждый вызов curl открывает новое соединение, поэтому ротационная строка показывает новый IP на каждом запросе, а закреплённая один и тот же. Для SOCKS5-строки поставьте SCHEME="socks5h": -U работает и с логином SOCKS5.
Параллельные запросы
Цикл отправляет запросы по одному. Чтобы ускориться, передайте URL в xargs -P или GNU parallel и держите число процессов в пределах потоков пакета. Если сайт лучше работает по HTTP, замените socks5h:// на http:// во флаге -x.
Как читать ошибки curl
- Код выхода 7: curl не достучался до прокси. Убедитесь, что в панели указан адрес этой машины.
- Код выхода 56 с текстом «CONNECT tunnel failed, response 407»: логин или пароль резидентной строки неверный.
- Код выхода 28: запрос не уложился в таймаут. Строка медленная, повторите через другую или увеличьте
-m. - Код выхода 97: не прошло SOCKS-рукопожатие. Повторите через другую строку или переключитесь на
http://. - HTTP 403 или 429 от сайта: сайт ограничивает адрес, разложите запросы на больше строк.
Что дальше
Для полноценного парсера смотрите инструкцию для Python или инструкцию для Node.js. Программы вроде ScrapeBox и Key Collector читают тот же файл, который обновляет cron.