Рекурсивне завантаження (`wget -r`) еквівалент для Firefox?


15

У мене є веб-сайт, і я хочу завантажити всі сторінки / посилання на цьому веб-сайті. Я хочу зробити це wget -rза цією URL-адресою. Жодне з посилань не перебуває «поза» цього конкретного каталогу, тому я не переживаю за завантаження всього інтернету.

Як виявляється, потрібні мені сторінки перебувають за захищеним паролем розділом веб-сайту. Хоча я міг би використовувати wget, щоб вручну проводити це узгодження файлів cookie, мені було б набагато простіше просто "увійти" в браузер і використовувати плагін Firefox для рекурсивного завантаження всього.

Чи є розширення чи щось, що дозволить мені це зробити? Багато розширень орієнтуються на отримання медіа / зображень зі сторінки (хех. Хех.), Але мене цікавить весь вміст - HTML та все.

Пропозиції?

Спасибі!

Редагувати

DownThemAll здається чудовою пропозицією. Чи може це зробити рекурсивне завантаження? Як, наприклад, завантажуйте всі посилання на сторінку, а потім завантажуйте всі посилання, що містяться на кожній із цих сторінок тощо? Так що я в основному дзеркало всього дерева каталогів, переходячи за посиланнями? Якийсь -rваріант подобається wget?

Відповіді:


7

DownThemAll не здійснює рекурсивного завантаження. Він лише захоплює посилання з поточної сторінки. Завантажується лише HTML-сторінка пов'язаних URL-адрес. Зображення пов'язаних сторінок та носії інформації не завантажуються.


6

SpiderZilla призначений для цього, але це трохи старе (2006).
Він заснований на копіюванні веб-сайтів HTTrack .
Який має оновлені версії для всіх платформ.

Також є ще один старший аддон, який може дозволити вам підключати wgetсам ' ' (серед іншого).

Однак я теж вважаю, що DownThemAll - це, мабуть, хороший вибір.
Якщо ви знаєте, що ви хочете дзеркально, вибір правильних посилань не повинен бути проблемою.
І ви завжди можете встановити прапорець "Усі".

Отже, +1, для DownThemAll, якщо ви хочете дотримуватися браузера.
І використовуйте HTTrack, якщо ви хочете окремий інструмент (а wget це не зручно).

Оновлення: ви також можете подивитися на голоси HTTrack у цьому питанні,
як я можу завантажити весь веб-сайт .


DTA не підтримує рекурсію
Hayden Thring

4

Ви можете використовувати wget -rфайли cookie з браузера, вилучені після авторизації.

Firefox має опцію "Копіювати як cURL" у контекстному меню запиту на сторінці на вкладці "Мережа" Інструментів веб-розробників, гарячої клавіші Ctrl + Shift + Q (можливо, вам потрібно буде перезавантажити сторінку після відкриття інструментів): скріншот

Замініть прапор заголовка curl на -Hwget --header, і у вас є всі необхідні заголовки, включаючи файли cookie, щоб продовжити сеанс браузера wget.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.