Запитання з тегом «wget»

Я намагаюся використовувати wget для створення локального дзеркала веб-сайту. Але я знаходжу, що я не отримую всіх посилальних сторінок. Ось веб-сайт http://web.archive.org/web/20110722080716/http://cst-www.nrl.navy.mil/lattice/ Я не хочу, щоб усі сторінки починалися web.archive.org, але я хочу, щоб усі сторінки починалися http://web.archive.org/web/20110722080716/http://cst-www.nrl.navy.mil/lattice/. Коли я використовую wget -r, у своїй файловій структурі я знаходжу web.archive.org/web/20110722080716/http://cst-www.nrl.navy.mil/lattice/index.html, …

12 linux  wget  httrack  webarchive 

Я знаю, що ви можете завантажувати веб-сторінки рекурсивно, використовуючи wget, але чи можна це робити без перешкод? Щоб ви могли якось зробити тестовий пробіг, щоб побачити, скільки буде завантажено, якби ви насправді це зробили? Думаючи про сторінки, які мають багато посилань на медіафайли, наприклад, зображення, аудіо- чи відеофайли.

12 wget 

У мене досить великий файл, розміщений на п'яти різних серверах. Я хотів би мати можливість завантажувати різні частини файлу з кожного сервера і згодом з'єднувати їх частини, щоб створити оригінальний файл. Чи можливо це зробити за допомогою curl / wget чи будь-яких інших інструментів командного рядка OS X?

12 macos  download  wget  curl 

Що я маю на увазі, це завантажувати кожну сторінку, доступну з машини «Backback Machine», протягом визначеного періоду часу та інтервалу. Наприклад, я хочу завантажити кожну сторінку, що була доступна щодня, з Nature.com з січня 2012 року по грудень 2012 року. (Не точно те, що я хочу зробити, але це досить …

11 download  wget  webpage 

Якщо працює без параметрів, мої wgetвідбитки: D:\>wget SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc syswgetrc = c:/progra~1/wget/etc/wgetrc D:\Apps\Util\wget: missing URL Usage: D:\Apps\Util\wget [OPTION]... [URL]... Try `D:\Apps\Util\wget --help' for more options. Це, ймовірно, означає, що шукає файл wgetrcу c:/progra~1/wget/etc/wgetrc. На жаль, це місце недоступне для некореневих програм. Я думав, що я можу змінити SYSTEM_WGETRCчи змінити …

11 proxy  wget 

Я намагаюся завантажити URL-адресу, що подобається http://www.somesite.com/restaurants.html#photo=22x00085. Я розміщую його між окремими цитатами, але він завантажує лише http://www.somesite.com/restaurants.html, що не є правильною сторінкою. Чи є рішення?

11 wget  url 

Я намагаюся завантажити два сайти для включення на компакт-диск: http://boinc.berkeley.edu/trac/wiki http://www.boinc-wiki.info Проблема у мене полягає в тому, що це обидва вікі. Тому при завантаженні з, наприклад: wget -r -k -np -nv -R jpg,jpeg,gif,png,tif http://www.boinc-wiki.info/ Я отримую багато файлів, тому що він також переходить за посиланнями, як ...? Action = edit …

11 linux  unix  wget 

Як я можу написати скрипт bash, який буде робити наступне: URL = "example.com/imageID=" while (1..100) wget URL + $i #it will wget example.com/imageID=1, then 2, then 3, etc done Отже, у мене є кілька циклів для виконання, URL-адреса яких закінчується числом з циклу. Мені потрібно wgetвсе це.

11 bash  shell-script  wget 

Я хочу завантажити файл з Wget , але відповідно до звичайної філософії UNIX, я не хочу, щоб він виводив нічого, якщо завантаження вдалося. Однак якщо завантаження не вдалося, я хочу отримати повідомлення про помилку. Ця -qопція пригнічує всі результати, включаючи повідомлення про помилки. Якщо я -nvзамість цього включу опцію, Wget …

11 wget 

У мене є URL-адреса на html-сторінці, і я хочу її отримати. Як я можу це зробити wget someArgs | grep keyword? Моя перша ідея була wget -q -O - url | grep keyword, але вихід Wget обходить grep і виникає на терміналі в оригінальному вигляді.

11 grep  wget 

Прикидаюся, що я хотів, щоб проста копія сторінки була завантажена на мій HD для постійного зберігання. Я не шукаю глибокого рекурсивного отримання, лише одну сторінку, але також будь-які ресурси, завантажені цією сторінкою, які також потрібно завантажити. Приклад: https://www.tumblr.com/ Очікуйте: Index.html Будь-які завантажені зображення Будь-які завантажені файли JS Будь-які завантажені файли …

11 javascript  html  css  images  wget 

Гаразд, я здаюся. Як я обмежую розмір файлів, які завантажуються, скажімо, я не хочу, щоб файли перевищували 2 Мб?

11 download  wget 

Aria2 - це чудова wgetзаміна, яка має безліч функцій, таких як багатопотокова, роздільна завантаження, резюме для завантаження тощо Але маючи всі ці функції та параметр, це може ускладнити виконання певних команд. Я хочу завантажити цю всю папку XOWA звідси з 10 одночасними завантаженнями, і файл розділиться на 4 сегменти з …

11 linux  wget  aria2 

Зокрема, я хотів би мати можливість завантажувати певні сторінки зі свого профілю користувача на різні сайти Stack Exchange. Однак я хотів би зробити це автоматично (використовуючи cronзавдання), з командного рядка та в прохідному форматі. Я дуже вважаю за краще використовувати для цього Linux, але я можу отримати доступ до машини …

10 linux  command-line  wget  curl  openid 

Я користувач Linux Mint (Lisa) і Tor Bundle, який намагається використовувати wget через Tor. Після слідуючи вказівкам я знайшов тут , все це я отримую при запуску Wget є вихідний файл кажучи, «потрібно 514 аутентифікації.» Ось що я зробив: я завантажив останню версію Tor Bundle (версія 2.2.35-9) для Linux і …

10 linux  proxy  wget  linux-mint  tor