Використання wget для рекурсивного отримання каталогу з довільними файлами в ньому

У мене є веб-каталог, де я зберігаю деякі конфігураційні файли. Я хотів би використовувати wget, щоб витягнути ці файли і зберегти їх поточну структуру. Наприклад, віддалений каталог виглядає так:

http://mysite.com/configs/.vim/

.vim вміщує кілька файлів і каталогів. Я хочу повторити це на клієнті за допомогою wget. Не можу знайти правильне поєднання прапорів wget, щоб зробити це. Будь-які ідеї?

Ви повинні передати -np/ --no-parentпараметр wget(на додаток до -r/ --recursive, звичайно), інакше він перейде за посиланням в індексі каталогів на моєму сайті до батьківського каталогу. Отже команда виглядатиме так:

wget --recursive --no-parent http://example.com/configs/.vim/

Щоб не завантажувати автоматично згенеровані index.htmlфайли, використовуйте -R/ --rejectпараметр:

wget -r -np -R "index.html*" http://example.com/configs/.vim/

Для рекурсивного завантаження каталогу, який відхиляє файли index.html * та завантажує без імені хоста, батьківського каталогу та всієї структури каталогу:

wget -r -nH --cut-dirs=2 --no-parent --reject="index.html*" http://mysite.com/dir1/dir2/data

Для всіх, хто має подібні проблеми. Наступний Wget, robots.txtякий може не дозволяти вам захоплювати сайт. Не хвилюйтесь, ви можете вимкнути це:

wget -e robots=off http://www.example.com/

http://www.gnu.org/software/wget/manual/html_node/Robot-Exclusion.html

Ви повинні використовувати прапор -m (дзеркало), оскільки це дбає про те, щоб не возитися із часовими позначками та повторюватись на невизначений час.

wget -m http://example.com/configs/.vim/

Якщо ви додасте в цій темі точки, згадані іншими, це було б:

wget -m -e robots=off --no-parent http://example.com/configs/.vim/

Ось повна команда wget, яка працювала для мене для завантаження файлів із каталогу сервера (ігнорування robots.txt):

wget -e robots=off --cut-dirs=3 --user-agent=Mozilla/5.0 --reject="index.html*" --no-parent --recursive --relative --level=1 --no-directories http://www.example.com/archive/example/5.3.0/

Якщо це --no-parentне допоможе, ви можете скористатися --includeопцією.

Структура каталогу:

http://<host>/downloads/good
http://<host>/downloads/bad

І ви хочете завантажити, downloads/goodале не downloads/badкаталог:

wget --include downloads/good --mirror --execute robots=off --no-host-directories --cut-dirs=1 --reject="index.html*" --continue http://<host>/downloads/good

wget -r http://mysite.com/configs/.vim/

працює для мене.

Можливо, у вас є .wgetrc, який йому заважає?

Щоб отримати каталог з рекурсивним іменем користувача та паролем, використовуйте таку команду:

wget -r --user=(put username here) --password='(put password here)' --no-parent http://example.com/

Wget 1.18 може працювати краще, наприклад, мене покусав помилка версії 1,12, де ...

wget --recursive (...)

... витягує лише index.html замість усіх файлів.

Обхід був вирішити 301 переадресацію та спробувати нове місце - враховуючи нову URL-адресу, wget отримав усі файли в каталозі.

Все, що вам потрібно, це два прапори, один - "-r"для рекурсії та "--no-parent"(або -np) для того, щоб не заходити в '.'і ".." . Подобається це:

wget -r --no-parent http://example.com/configs/.vim/

Це воно. Він буде завантажити в наступному локальне древо ./example.com/configs/.vim. Однак якщо ви не хочете перших двох каталогів, тоді використовуйте додатковий прапор, --cut-dirs=2як було запропоновано у попередніх відповідях:

wget -r --no-parent --cut-dirs=2 http://example.com/configs/.vim/

І воно завантажить ваше дерево файлів тільки в ./.vim/

Насправді я отримав перший рядок з цієї відповіді саме з посібника з wget , вони мають дуже чистий приклад до кінця розділу 4.3.

Наступний варіант здається ідеальним поєднанням при роботі з рекурсивним завантаженням:

wget -nd -np -P / dest / dir --рекурсивний http: // url / dir1 / dir2

Відповідні фрагменти зі сторінки man для зручності:

   -nd
   --no-directories
       Do not create a hierarchy of directories when retrieving recursively.  With this option turned on, all files will get saved to the current directory, without clobbering (if a name shows up more than once, the
       filenames will get extensions .n).


   -np
   --no-parent
       Do not ever ascend to the parent directory when retrieving recursively.  This is a useful option, since it guarantees that only the files below a certain hierarchy will be downloaded.

Ви можете це зробити, просто додавши -r

wget -r http://stackoverflow.com/

Ця версія завантажується рекурсивно і не створює батьківських каталогів.

wgetod() {
    NSLASH="$(echo "$1" | perl -pe 's|.*://[^/]+(.*?)/?$|\1|' | grep -o / | wc -l)"
    NCUT=$((NSLASH > 0 ? NSLASH-1 : 0))
    wget -r -nH --user-agent=Mozilla/5.0 --cut-dirs=$NCUT --no-parent --reject="index.html*" "$1"
}

Використання:

1. Додайте до ~/.bashrcтерміналу або вставте його
2. wgetod "http://example.com/x/"