wget рекурсивне завантаження, але я не хочу переходити по всіх посиланнях

Я намагаюся віддзеркалити веб-сайт за допомогою wget, але я не хочу завантажувати багато файлів, тому я використовую --rejectопцію wget, щоб не зберігати всі файли. Однак wget все одно завантажить усі файли, а потім видалить файл, якщо він відповідає моєму параметру відхилення.

Чи є спосіб сказати wget не переходити до певних посилань, якщо вони відповідають одній підстановці оболонки? Якщо wget не може цього зробити, чи є якась інша поширена команда Linux, яка може це зробити?

Ви також можете спробувати HTTrack, який має, IMO, більш гнучку та інтуїтивну логіку включення / виключення. Щось на зразок цього...

httrack "https://example.com" -O ExampleMirrorDirectory \
"-*" \
"+https://example.com/images/*" \
"-*.swf"

Правила застосовуватимуться в порядку, і перевершать попередні правила ...

1. Виключіть усе
2. Але включіть https://example.com/images/ *
3. Але виключіть що-небудь, що закінчується SWF

Схоже, це не можливо в wget

У розділі --reject 'man wget':

"Зауважте, що якщо будь-який із символів підстановки *,?, [Або] відображається в елементі списку або перейменування, це буде розглянуто як шаблон, а не як суфікс."

Якщо ви робите це, ви можете навести приклади використовуваних моделей і того, що, на вашу думку, повинно відповідати, а це не відповідає. Ви кажете, що вони відповідають, але ви впевнені?

Також переконайтеся, що ви вказали цей список у лапках, щоб оболонка не розширювала ці підмітні знаки, перш ніж передавати аргументи (аргументи) у wget.

Навіть якщо ваша система не має версію 1.12, читати типи файлів розділі керівництва тут . Відповідно до журналу змін, технічне обслуговування додало кілька застережень:

* NEWS: Added documentation change re: --no-parents, and various
caveats on accept/reject lists behavior. Rearranged some items in
order of priority.

Ви можете обмежити рівень рекурсії за допомогою -l NUMBERопції, якщо це допоможе (не дотримуючись певного шаблону регулярних виразів).

Рівень "2" завантажує index.html, його підрозділи / зображення / тощо та посилання на підрозділі.

як ви користуєтесь wget? спробуйте використовувати його таким чином:

wget -r --reject=gif,jpg,swf http://norc.aut.ac.ir/

ця команда буде ігнорувати файли gif та jpg та swf.

Одним із завдань було б запустити wget через проксі-сервер. Встановіть проксі для заборони певних шаблонів. Це заблокувало б, щоб Wget не завантажував їх в першу чергу.

wget завантажить та видалить файл, що відповідає шаблону -R. він також може відповідати шаблонам, а не лише розширенням або частинам імен файлів. Однак це не перешкоджає завантаженню wget спочатку та видаленню пізніше.

httrack має деякі приємні функції, але, на мій досвід, спосіб, коли він зберігає "файл", може бути трохи химерним, наприклад, якщо httrack трапляється через index.asp? type = BASIC & PAGEID = 2234234,
він може зберегти його, але вам потрібно сказати, щоб зберегти частини запиту,
наприклад,% h% p /% n% [TYPE: @TYPE = ::]% [PAGEID: PAGEID = ::].% t
@ є заповнювачем місця знака питання, ви можете перейменувати файли пізніше, чи, можливо, замість цього уникнути знака питання? Проблема полягає в тому, що.% t додасть ".html" до кінця вашого URI, у якого спочатку не було ".html". Якщо ви знімете його, зображення, які завантажують httrack, не матимуть розширення для файлу.

Краще використовувати wget IMHO