Програмування wget

5

Зачинено. Це питання не відповідає вказівкам щодо переповнення стека . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для переповнення стека. Закрито 2 роки тому . Удосконаліть це питання Я намагаюся встановити wget в MAC OS 10.11.1, але коли я запускаю, ./configure --with-ssl=opensslя отримую …

136 macos wget osx-elcapitan libssl libressl

7

Як використовувати Wget, щоб завантажити всі зображення в одну папку з URL-адреси?

Я використовую wget для завантаження всіх зображень з веб-сайту, і він працює чудово, але він зберігає оригінальну ієрархію сайту з усіма вкладеними папками, тому зображення є пунктирними навколо. Чи існує спосіб, щоб він просто завантажив усі зображення в одну папку? Синтаксис, який я зараз використовую: wget -r -A jpeg,jpg,bmp,gif,png http://www.somedomain.com

133 wget

4

Що краще, завивати або віджимати? [зачинено]

Закрито . Це питання ґрунтується на думці . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб на нього можна було відповісти фактами та цитатами, редагуючи цю публікацію . Закрито 5 років тому . Удосконаліть це питання Вони однакові чи ні? Чи можна робити певні речі з одним, …

132 linux curl wget

4

Як використовувати запити Python для підробленого відвідування браузера?

Я хочу отримати вміст із веб-сайту нижче. Якщо я використовую браузер, як Firefox або Chrome, я міг би отримати реальну потрібну сторінку веб-сайту, але якщо я використовую пакет запитів Python (або wgetкоманду), щоб отримати його, він повертає зовсім іншу сторінку HTML. Я думав, що розробник веб-сайту зробив для цього кілька …

127 python html web-scraping python-requests wget

5

Виведіть вихідний документ та заголовки до STDOUT

Я намагаюся вивести тіло документа та його заголовки для stdout з wget by wget -S -O - http://google.com але він показує лише html-документ. Дякую UPD: Працював над цим wget --save-headers --output-document - http://google.com wget --version показує GNU Wget 1.11.4 модифікований Red Hat

116 linux http wget

6

Як отримати вміст веб-сторінки в змінній оболонки?

Як в Linux можна отримати URL-адресу та отримати її вміст у змінній в оболонці?

115 linux bash shell wget

10

Отримайте остаточну URL-адресу після перенаправлення curl

Мені потрібно отримати кінцеву URL-адресу після переадресації сторінки, бажано за допомогою curl або wget. Наприклад, http://google.com може переспрямувати на http://www.google.com . Вміст легко отримати (наприклад, curl --max-redirs 10 http://google.com -L), але мене цікавить лише остаточний URL (у колишньому випадку http://www.google.com ). Чи можливо це зробити за допомогою лише вбудованих інструментів …

110 linux redirect curl wget

5

Як завантажити tarball з GitHub за допомогою cURL?

Я намагаюся завантажити tarball з GitHub за допомогою cURL , але, схоже, це не перенаправляє: $ curl --insecure https://github.com/pinard/Pymacs/tarball/v0.24-beta2 <html><body>You are being <a href="https://nodeload.github.com/pinard/Pymacs/tarball/v0.24-beta2">redirected</a>.</body></html> Примітка: wget працює для мене: $ wget --no-check-certificate https://github.com/pinard/Pymacs/tarball/v0.24-beta2 Однак я хочу використовувати cURL, тому що в кінцевому підсумку хочу зняти його з вбудованого файлу чимось …

93 linux curl github wget

2

Як надіслати запит HTTP OPTIONS із командного рядка?

Я намагався використовувати cURL, але здається, що за замовчуванням (Debian) не компілюється з підтримкою HTTPS, і я не хочу його будувати самостійно. wget схоже, має підтримку SSL, але я не знайшов інформації про те, як згенерувати HTTP-запит OPTIONS за допомогою wget.

93 curl wget

3

Як запустити wget всередині образу Ubuntu Docker?

Я намагаюся завантажити пакет Debian всередині контейнера Ubuntu наступним чином: sudo docker run ubuntu:14.04 wget https://downloads-packages.s3.amazonaws.com/ubuntu-14.04/gitlab_7.8.2-omnibus.1-1_amd64.deb я отримав exec: "wget": executable file not found in $PATH Я вже встановив wgetдокер наступним чином: run ubuntu:14.04 apt-get install wget Як я можу завантажити файл?

86 ubuntu docker wget

3

Як завантажити всі посилання на .zip-файли на певній веб-сторінці за допомогою wget / curl?

Сторінка містить посилання на набір ZIP-файлів, які я хочу завантажити. Я знаю, що це можна зробити за допомогою wget і curl. Як це робиться?

83 curl download wget

5

Чи можу я використовувати wget для перевірки, але не для завантаження

Чи можу я за допомогою wget перевірити наявність 404 і фактично не завантажити ресурс? Якщо так, то як? Дякую

83 wget

4

Чи відповідає час очікування WGET?

Я запускаю PHP-скрипт через cron за допомогою Wget, з наступною командою: wget -O - -q -t 1 http://www.example.com/cron/run Для обробки сценарію знадобиться максимум 5-6 хвилин. WGet дочекається його і надасть йому весь час, який йому потрібен, або закінчиться?

83 linux cron wget

9

Як показати лише панель прогресу wget?

Наприклад: wget http://somesite.com/TheFile.jpeg downloading: TheFile.tar.gz ... --09:30:42-- http://somesite.com/TheFile.jpeg => `/home/me/Downloads/TheFile.jpeg' Resolving somesite.co... xxx.xxx.xxx.xxx. Connecting to somesite.co|xxx.xxx.xxx.xxx|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 1,614,820 (1.5M) [image/jpeg] 25% [======> ] 614,424 173.62K/s ETA 00:14 Як я можу змусити це виглядати так downloading: TheFile.jpeg ... 25% [======> ] 614,424 173.62K/s …

81 linux bash wget sh

3

Як перейменувати завантажений файл за допомогою wget?

Для завантаження статистики SOFA з сервера я використовую команду wget: wget -c http://sourceforge.net/projects/sofastatistics/files/latest/download?source=dlp Файл завантаженого файлу в цьому випадку download?source=files. Якщо я додаю --output-documentопцію до команди, щоб перейменувати вихідний файл sofastatistics-latest.deb, формат завантаженого файлу не розпізнається пакетом dpkg. dpkg-deb: error: `sofastatistics-latest.deb' is not a debian format archive Як правильно перейменувати …

80 wget file-rename

Запитання з тегом «wget»