proxymix
Приклади коду

curl і bash зі списком проксі: запити, цикли й cron

curl працює з HTTP- і SOCKS5-проксі через один прапорець. Ці скрипти беруть випадкові рядки з вашого списку для швидкої перевірки або для циклу по багатьох URL.

Що знадобиться

curl і coreutils, які є на будь-якому Linux-сервері та в macOS із Homebrew. curl працює з HTTP- і SOCKS5-проксі через один прапорець -x. Для пакета спершу дозвольте адресу цієї машини в панелі ProxyMix; після цього проксі не потрібні логіни.

Один запит через випадковий проксі

Перший скрипт завантажує список, бере випадковий рядок через shuf і надсилає через нього один запит. tr прибирає закінчення рядків Windows, якщо вони трапляються.

Один запит через випадковий проксі
LIST_URL="YOUR_LIST_LINK"
PROXY=$(curl -fsS "$LIST_URL" | tr -d '\r' | shuf -n 1)
curl -x "socks5h://$PROXY" https://ifconfig.me/ip

Цикл по багатьох URL

Другий скрипт читає urls.txt і надсилає кожну URL через свій випадковий проксі. Він виводить HTTP-код, URL і проксі, тож збої видно одразу.

Цикл по urls.txt
LIST_URL="YOUR_LIST_LINK"
curl -fsS "$LIST_URL" | tr -d '\r' > proxies.txt
while read -r url; do
  proxy=$(shuf -n 1 proxies.txt)
  curl -s -m 20 -x "socks5h://$proxy" -o /dev/null -w "%{http_code} $url via $proxy\n" "$url"
done < urls.txt

Файл зі списком, який оновлює cron

Для програм, що читають файл, цей рядок завантажує список раз на 10 хвилин і замінює файл лише після повного завантаження.

crontab
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txt

Резидентні рядки з логіном

curl приймає логін резидентного рядка через -U, тож пароль не потрібно кодувати, навіть якщо в ньому є : чи @. Скрипт розбирає рядок, надсилає три запити й виводить адресу, з якої прийшов кожен.

curl із резидентним рядком
LINE="HOST:PORT:LOGIN:PASSWORD"
SCHEME="http"
IFS=: read -r GATE GATE_PORT USER_ID USER_KEY <<< "$LINE"
for i in 1 2 3; do
  curl -sS -m 20 -x "$SCHEME://$GATE:$GATE_PORT" -U "$USER_ID:$USER_KEY" https://ifconfig.me/ip
  echo
done

Кожен виклик curl відкриває нове з'єднання, тож ротаційний рядок показує нову IP на кожному запиті, а фіксований щоразу ту саму. Для рядка SOCKS5 задайте SCHEME="socks5h": -U працює і для логінів SOCKS5.

Паралельні запити

Цикл надсилає запити по одному. Щоб пришвидшити, передайте URL у xargs -P або GNU parallel і тримайте кількість процесів у межах потоків пакета. Замініть socks5h:// на http:// у прапорці -x, якщо ціль краще працює через HTTP.

Як читати помилки curl

  • Код виходу 7: curl не достукався до проксі. Перевірте, що адреса цієї машини є в панелі.
  • Код виходу 56 із "CONNECT tunnel failed, response 407": неправильний логін або пароль резидентного рядка.
  • Код виходу 28: запит перевищив час очікування. Рядок повільний, тож повторіть через інший або збільште -m.
  • Код виходу 97: не вдалося рукостискання SOCKS. Повторіть через інший рядок або перейдіть на http://.
  • HTTP 403 або 429 від цілі: сайт обмежує адресу, тож розподіліть запити на більше рядків.

Що далі

Для повноцінного парсера дивіться інструкцію для Python або інструкцію для Node.js. Програми на кшталт ScrapeBox і Key Collector читають той самий файл, який оновлює cron.

Питання

Питання

Усі питання
Як використати HTTP замість SOCKS5?

Замініть socks5h:// на http:// у прапорці -x.

Як запустити багато запитів одночасно?

Передайте URL у xargs -P або GNU parallel і тримайте кількість процесів у межах потоків пакета.

Як передати резидентний логін у curl?

Через -U login:password поруч із -x http://host:port або socks5h://host:port для рядка SOCKS5.

Готові спробувати?

Поповніть баланс, створіть список потрібного типу і країни та перевірте пул на своєму сайті. 1 ГБ на пробу коштує від $0,27, трафік живе три місяці.

Зібрати замовлення