Відповіді:
Використовуйте wget . Простий, сценарій, командний рядок, доступний на вашій улюбленій платформі, будь то Unix-ish, Win *, Cygwin і т.д. (див. Вікіпедія для посилань на різні версії). Від manpage :
--spider
При виклику з цією опцією, Wget буде вести себе як веб-павук, що означає, що він не буде завантажувати сторінки, просто перевірте, що вони є. Наприклад, можна скористатися Wget, щоб перевірити свої закладки:
wget --spider --force-html -i bookmarks.html
Ця функція потребує набагато більше роботи для Wget, щоб наблизитися до функціональності реальних веб-павуків.
Можливо, ви захочете --no-verbose
та / або --output-document=file
опцій.