Скрипт для отримання коду стану HTTP списку URL-адрес?

У мене є список URL-адрес, які мені потрібно перевірити, чи вони все ще працюють чи ні. Я хотів би написати сценарій bash, який робить це для мене.

Мені потрібен лише повернутий код стану HTTP, тобто 200, 404, 500 тощо. Нічого більше.

РЕДАГУВАТИ Зверніть увагу, що є проблема, якщо на сторінці написано "404 не знайдено", але повертається повідомлення 200 OK Це неправильно налаштований веб-сервер, але, можливо, вам доведеться розглянути цей випадок.

Докладніше про це див. У розділі Перевірка переходу URL-адреси на сторінку, що містить текст "404"

Curl має певний варіант --write-out, для цього:

$ curl -o /dev/null --silent --head --write-out '%{http_code}\n' <url>
200

• -o /dev/null викидає звичайний вихід
• --silent викидає індикатор прогресу
• --head робить запит HEAD HTTP, замість GET
• --write-out '%{http_code}\n' друкує необхідний код стану

Щоб обернути це повним сценарієм Bash:

#!/bin/bash
while read LINE; do
  curl -o /dev/null --silent --head --write-out "%{http_code} $LINE\n" "$LINE"
done < url-list.txt

(Орлові очі читачі помітять, що тут використовується один процес закручування для кожної URL-адреси, що передбачає покарання за вилку та TCP. Це було б швидше, якби декілька URL-адрес були об’єднані в один завиток, але немає місця для випису монстрового повторення варіантів, для яких потрібно зробити curl.)

wget --spider -S "http://url/to/be/checked" 2>&1 | grep "HTTP/" | awk '{print $2}'

друкує лише код стану для вас

Розширюючи відповідь, вже надану Філом. Додавання паралелізму до нього - це не простий результат у bash, якщо ви використовуєте xargs для дзвінка.

Ось код:

xargs -n1 -P 10 curl -o /dev/null --silent --head --write-out '%{url_effective}: %{http_code}\n' < url.lst

-n1 : використовуйте лише одне значення (зі списку) як аргумент для виклику curl

-P10 : Тримайте 10 процесів завивання в будь-який час (тобто 10 паралельних з'єднань)

Перевірте write_out параметр у посібнику з curl, щоб дізнатись більше даних, які ви можете отримати з його допомогою (час і т.д.).

Якщо комусь це допоможе, це дзвінок, який я зараз використовую:

xargs -n1 -P 10 curl -o /dev/null --silent --head --write-out '%{url_effective};%{http_code};%{time_total};%{time_namelookup};%{time_connect};%{size_download};%{speed_download}\n' < url.lst | tee results.csv

Він просто видає купу даних у файл CSV, який можна імпортувати в будь-який офісний інструмент.

Це спирається на широко доступні wget, майже всюди, навіть на Alpine Linux.

wget --server-response --spider --quiet "${url}" 2>&1 | awk 'NR==1{print $2}'

Пояснення такі:

--quiet

Вимкніть вихід Wget.

Джерело - wget man pages

--spider

[...] він не буде завантажувати сторінки, просто перевірте, чи є вони там. [...]

Джерело - wget man pages

--server-response

Роздрукуйте заголовки, надіслані HTTP-серверами, та відповіді, надіслані FTP-серверами.

Джерело - wget man pages

Що вони не говорять про --server-responseте, що ці заголовки виводяться із стандартною помилкою (sterr) , отже, необхідність перенаправлення на stdin.

Вихідні дані надсилаються на стандартний вхід, ми можемо направити його awkдля вилучення коду стану HTTP. Цей код:

• друга ( $2) непуста група символів:{$2}
• у першому рядку заголовка: NR==1

І тому , що ми хочемо надрукувати його ... {print $2}.

wget --server-response --spider --quiet "${url}" 2>&1 | awk 'NR==1{print $2}'

Використовуйте curlдля отримання лише заголовка HTTP (а не цілого файлу) та аналізу його:

$ curl -I  --stderr /dev/null http://www.google.co.uk/index.html | head -1 | cut -d' ' -f2
200

wget -S -i *file* отримає заголовки з кожної URL-адреси у файлі.

Фільтруйте, однак, grepспеціально код стану.

Я знайшов інструмент "webchk", написаний на Python. Повертає код стану для списку URL-адрес. Https://pypi.org/project/webchk/

Результат виглядає так:

▶ webchk -i ./dxieu.txt | grep '200'
http://salesforce-case-status.dxi.eu/login ... 200 OK (0.108)
https://support.dxi.eu/hc/en-gb ... 200 OK (0.389)
https://support.dxi.eu/hc/en-gb ... 200 OK (0.401)

Сподіваюся, це допоможе!

Завдяки https://mywiki.wooledge.org/BashPitfalls#Non-atomic_writes_with_xargs_-P (вихід з паралельних завдань із xargsризиком змішування), я б використовував GNU Parallel замість того, xargsщоб паралелізувати:

cat url.lst |
  parallel -P0 -q curl -o /dev/null --silent --head --write-out '%{url_effective}: %{http_code}\n' > outfile

У цьому конкретному випадку це може бути безпечним у використанні, xargsоскільки висновок настільки короткий, тому проблема використання xargsполягає швидше в тому, що якщо хтось пізніше змінить код, щоб зробити щось більше, це більше не буде безпечним. Або якщо хтось читає це питання і думає, що може замінити curlчимось іншим, то це також може бути не безпечно.