Що знадобиться
curl і coreutils, які є на будь-якому Linux-сервері та в macOS із Homebrew. curl працює з HTTP- і SOCKS5-проксі через один прапорець -x. Для пакета спершу дозвольте адресу цієї машини в панелі ProxyMix; після цього проксі не потрібні логіни.
Один запит через випадковий проксі
Перший скрипт завантажує список, бере випадковий рядок через shuf і надсилає через нього один запит. tr прибирає закінчення рядків Windows, якщо вони трапляються.
LIST_URL="YOUR_LIST_LINK"
PROXY=$(curl -fsS "$LIST_URL" | tr -d '\r' | shuf -n 1)
curl -x "socks5h://$PROXY" https://ifconfig.me/ipЦикл по багатьох URL
Другий скрипт читає urls.txt і надсилає кожну URL через свій випадковий проксі. Він виводить HTTP-код, URL і проксі, тож збої видно одразу.
LIST_URL="YOUR_LIST_LINK"
curl -fsS "$LIST_URL" | tr -d '\r' > proxies.txt
while read -r url; do
proxy=$(shuf -n 1 proxies.txt)
curl -s -m 20 -x "socks5h://$proxy" -o /dev/null -w "%{http_code} $url via $proxy\n" "$url"
done < urls.txtФайл зі списком, який оновлює cron
Для програм, що читають файл, цей рядок завантажує список раз на 10 хвилин і замінює файл лише після повного завантаження.
*/10 * * * * curl -fsS "YOUR_LIST_LINK" -o /opt/proxies/list.tmp && mv /opt/proxies/list.tmp /opt/proxies/proxies.txtРезидентні рядки з логіном
curl приймає логін резидентного рядка через -U, тож пароль не потрібно кодувати, навіть якщо в ньому є : чи @. Скрипт розбирає рядок, надсилає три запити й виводить адресу, з якої прийшов кожен.
LINE="HOST:PORT:LOGIN:PASSWORD"
SCHEME="http"
IFS=: read -r GATE GATE_PORT USER_ID USER_KEY <<< "$LINE"
for i in 1 2 3; do
curl -sS -m 20 -x "$SCHEME://$GATE:$GATE_PORT" -U "$USER_ID:$USER_KEY" https://ifconfig.me/ip
echo
doneКожен виклик curl відкриває нове з'єднання, тож ротаційний рядок показує нову IP на кожному запиті, а фіксований щоразу ту саму. Для рядка SOCKS5 задайте SCHEME="socks5h": -U працює і для логінів SOCKS5.
Паралельні запити
Цикл надсилає запити по одному. Щоб пришвидшити, передайте URL у xargs -P або GNU parallel і тримайте кількість процесів у межах потоків пакета. Замініть socks5h:// на http:// у прапорці -x, якщо ціль краще працює через HTTP.
Як читати помилки curl
- Код виходу 7: curl не достукався до проксі. Перевірте, що адреса цієї машини є в панелі.
- Код виходу 56 із "CONNECT tunnel failed, response 407": неправильний логін або пароль резидентного рядка.
- Код виходу 28: запит перевищив час очікування. Рядок повільний, тож повторіть через інший або збільште
-m. - Код виходу 97: не вдалося рукостискання SOCKS. Повторіть через інший рядок або перейдіть на
http://. - HTTP 403 або 429 від цілі: сайт обмежує адресу, тож розподіліть запити на більше рядків.
Що далі
Для повноцінного парсера дивіться інструкцію для Python або інструкцію для Node.js. Програми на кшталт ScrapeBox і Key Collector читають той самий файл, який оновлює cron.