Як я можу завантажити всі сторінки з веб-сайту?

Будь-яка платформа - це добре.

HTTRACK працює як чемпіон для копіювання вмісту цілого сайту. Цей інструмент може навіть захопити фрагменти, необхідні для роботи веб-сайту з активним вмістом коду в режимі офлайн. Я вражений речами, які він може повторити в режимі офлайн.

Ця програма зробить все, що вам потрібно від неї.

Щасливого полювання!

Wget - класичний інструмент командного рядка для подібних завдань. Він поставляється з більшістю систем Unix / Linux, і ви можете отримати його і для Windows . На Mac, Homebrew - це найпростіший спосіб його встановлення ( brew install wget).

Ви зробите щось на кшталт:

wget -r --no-parent http://site.com/songs/

Докладніше див. Посібник з Wget та його приклади , або, наприклад, такі:

• wget: Завантажуйте всі веб-сайти легко

• Наведіть приклади та сценарії

Використовуйте wget:

wget -m -p -E -k www.example.com

Пояснені варіанти:

-m, --mirror            Turns on recursion and time-stamping, sets infinite 
                          recursion depth, and keeps FTP directory listings.
-p, --page-requisites   Get all images, etc. needed to display HTML page.
-E, --adjust-extension  Save HTML/CSS files with .html/.css extensions.
-k, --convert-links     Make links in downloaded HTML point to local files.

Подивіться на ScrapBook , розширення Firefox. Він має режим поглибленого захоплення .

Internet Download Manager має утиліту Grabber Site з безліччю варіантів - яка дозволяє повністю завантажувати будь-який потрібний веб-сайт так, як вам потрібно.

1. Ви можете встановити обмеження на розмір сторінок / файлів для завантаження

2. Ви можете встановити кількість відвідуваних філій сайтів

3. Ви можете змінити поведінку скриптів / спливаючих вікон / дублікатів

4. Ви можете вказати домен, лише під цим доменом будуть завантажені всі сторінки / файли, що відповідають необхідним налаштуванням

5. Посилання можуть бути перетворені в офлайнові посилання для перегляду

6. У вас є шаблони, які дозволяють вибрати для вас вищевказані налаштування

Однак програмне забезпечення не є безкоштовним - подивіться, чи відповідає вашим потребам, скористайтеся версією для оцінки.

itucks - ось назва програми!

Я торкнуся буферизації в Інтернеті, яку використовують браузери ...

Зазвичай більшість браузерів використовують кеш перегляду, щоб зберегти файли, які ви завантажуєте з веб-сайту, на деякий час, щоб не довелося завантажувати статичні зображення та вміст знову і знову. Це може за певних обставин трохи прискорити справи. Взагалі кажучи, більшість кеш-пам’яток браузера обмежені фіксованим розміром, і коли він досяг цієї межі, він видалить найдавніші файли з кешу.

Інтернет-провайдери, як правило, мають кешовані сервери, які зберігають копії часто доступних веб-сайтів, таких як ESPN та CNN. Це позбавляє їх від труднощів вражати ці сайти кожного разу, коли хтось із їхньої мережі заходить туди. Це може призвести до значної економії кількості дублюваних запитів на зовнішні сайти до провайдера.

Мені подобається Offline Explorer .
Це безкоштовне програмне забезпечення, але воно дуже добре і просте у використанні.

WebZip також є хорошим продуктом.

Я цього не робив уже багато років, але є ще кілька комунальних послуг. Ви можете спробувати Web Snake . Я вважаю, я використовував це років тому. Я згадав ім'я одразу, коли прочитав ваше запитання.

Я згоден зі Стейсі. Будь ласка, не забивайте їх сайт. Дуже погано.

Спробуйте браузер BackStreet .

Це безкоштовний, потужний офлайн-браузер. Високошвидкісна програма для завантаження та перегляду веб-сайтів, що має багато потоків. Роблячи кілька одночасних запитів сервера, браузер BackStreet може швидко завантажувати весь веб-сайт або частину сайту, включаючи HTML, графіку, Java-аплети, звукові та інші файли, визначені користувачем, і зберігає всі файли на вашому жорсткому диску, як у рідному форматі, або як стислий ZIP-файл і переглядати офлайн.

Teleport Pro - це ще одне безкоштовне рішення, яке буде копіювати будь-які файли з будь-якої цілі (також має платну версію, яка дозволить вам перетягувати більше сторінок контенту).

DownThemAll - це доповнення Firefox, яке завантажуватиме весь вміст (наприклад, аудіо- чи відеофайли) для певної веб-сторінки одним натисканням кнопки. Це не завантажує весь сайт, але це може бути щось таке, що питання шукало.

Для Linux та OS X: Я написав сайт-захоплення для архівування цілих веб-сайтів у файли WARC . Ці файли WARC можна переглядати або витягувати. grab-site дозволяє контролювати, які URL-адреси потрібно пропустити, використовуючи регулярні вирази, і їх можна змінити під час запуску сканування. Він також постачається з великим набором за замовчуванням для ігнорування небажаних URL-адрес.

Існує веб-інформаційна панель для моніторингу сканів, а також додаткові параметри пропуску відеовмісту або відповідей певного розміру.

Power wget

Хоча про wget вже згадувалося, цей ресурсний і командний рядок був настільки суцільним, я вважав, що це заслуговує на згадку: wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/

Дивіться цей код, пояснений у обяснении

Поважний FreeDownloadManager.org також має цю особливість.

Безкоштовний менеджер завантажень має його у двох формах у двох формах: Провідник сайту та Павук сайту :

Site Explorer
Site Explorer дозволяє переглядати структуру папок веб-сайту та легко завантажувати необхідні файли чи папки.
HTML Spider
Ви можете завантажувати цілі веб-сторінки або навіть цілі веб-сайти за допомогою HTML Spider. Інструмент можна налаштувати для завантаження файлів лише із заданими розширеннями.

Я вважаю, що Провідник сайту корисний, щоб побачити, які папки включати / виключати, перш ніж намагатися завантажити весь сайт, особливо коли на сайті ховається цілий форум, який ви не хочете завантажувати, наприклад.

завантажте HTTracker, він завантажить веб-сайти дуже легкими кроками, які слід виконати.

посилання для завантаження: http://www.httrack.com/page/2/

відео, яке допоможе, може допомогти вам: https://www.youtube.com/watch?v=7IHIGf6lcL4

Firefox може це зробити на самому собі (принаймні, FF 42 може). Просто використовуйте "Зберегти сторінку"

Я вважаю, що Google Chrome може це зробити на настільних пристроях, просто перейдіть до меню браузера та натисніть кнопку "Зберегти веб-сторінку".

Також зауважте, що такі сервіси, як кишеньковий, насправді не можуть врятувати веб-сайт, і тому вони піддаються гниттю посилань.

Нарешті, зауважте, що копіювання вмісту веб-сайту може порушити авторські права, якщо воно застосовується.