Отримання всіх файлів з веб-сторінки за допомогою curl

Я хотів би завантажити файли відразу з наступної сторінки за допомогою curl: http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/

Я спробував, curl http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/і він повернув купу рядків у терміналі, але жодних файлів не отримав.

Використовуйте wgetзамість цього. Ви можете встановити його, brew install wgetякщо ви встановили Homebrew або sudo port install wgetякщо ви встановили MacPorts.

Для завантаження файлів із списку каталогів використовуйте -r(рекурсивний), -np(не слідкуйте за посиланнями на батьківські каталоги), а -kпосилання у завантаженому HTML або CSS вказують на локальні файли (Credit @xaccrocheur).

wget -r -np -k http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/

Інші корисні варіанти:

• -nd (немає каталогів): завантажте всі файли в поточну каталог
• -e robots.off: ігноруйте файли robots.txt, не завантажуйте файли robots.txt
• -A png,jpg: приймати лише файли з розширеннями pngабоjpg
• -m (дзеркало): -r --timestamping --level inf --no-remove-listing
• -nc, --no-clobber: Пропустити завантаження, якщо файли існують

curlВи можете читати лише окремі файли веб-сторінок, купу отриманих рядків - це фактично індекс каталогу (який ви також бачите у своєму браузері, якщо переходите до цієї URL-адреси) Для використання curlта деяких інструментів Unix магія отримати файли, якими ви могли б користуватися чимось на кшталт

for file in $(curl -s http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/ |
                  grep href |
                  sed 's/.*href="//' |
                  sed 's/".*//' |
                  grep '^[a-zA-Z].*'); do
    curl -s -O http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/$file
done

який отримає всі файли в поточний каталог.

Для більш детальних потреб (включаючи отримання купи файлів з сайту з папками / каталогами), wget(як це запропоновано в іншій відповіді вже) - кращий варіант.

Посилання: http://blog.incognitech.in/download-files-from-apache-server-listing-directory/

Ви можете використовувати таку команду:

wget --execute="robots = off" --mirror --convert-links --no-parent --wait=5 <website-url>

Пояснення з кожним варіантом

• wget: Проста команда, щоб зробити запит CURL та завантажити віддалені файли на нашу локальну машину.
• --execute="robots = off": Це ігнорує файл robots.txt під час сканування сторінок. Це корисно, якщо ви не отримуєте всі файли.
• --mirror: Цей параметр в основному відображає структуру каталогу для вказаної URL-адреси. Це ярлик, -N -r -l inf --no-remove-listingякий означає:
  • -N: не повторно завантажуйте файли, якщо вони не новіші, ніж локальні
  • -r: вказати рекурсивне завантаження
  • -l inf: максимальна глибина рекурсії (інф або 0 для нескінченності)
  • --no-remove-listing: не видаляйте файли ".listing"
• --convert-links: зробити посилання у завантаженому HTML або CSS вказувати на локальні файли
• --no-parent: не піднімайтеся до батьківського каталогу
• --wait=5: зачекайте 5 секунд між завантаженнями. Так що ми не збиваємо сервер.
• <website-url>: Це URL-адреса веб-сайту, звідки можна завантажити файли.

Щаслива завантаження: smiley:

Ви можете використовувати httrack, доступний для Windows / MacOS та інстальований через Homebrew.

Для тих із нас, хто скоріше буде використовувати додаток із графічним інтерфейсом, є недорога програма загального користування DeepVacuum для Mac OS X , яка реалізується wgetв зручному для користувача режимі, зі списком пресетів, які можуть вирішувати загально необхідні завдання. Ви також можете зберегти власні власні конфігурації як попередньо встановлені.