Зробіть wget не завантажувати файли розміром більше X


11

Гаразд, я здаюся. Як я обмежую розмір файлів, які завантажуються, скажімо, я не хочу, щоб файли перевищували 2 Мб?

Відповіді:


6

Єдиний варіант обмеження, який я знаю, який wgetпідтримує, - це -Qперемикач квот. Це не те, що ви хочете, хоча це зупиняється після комбінованого обмеження всіх завантажених файлів, а не окремо. -QЯк і пояснено на сторінці man, не буде працювати жодне посилання на нього окремо за допомогою перемикача .

Я не знаю, яке середовище ви використовуєте, але сканер підтримує обмеження розміру файлів з максимальною довжиною байтів і працює на платформі Java.

з їх посібника користувача :

  • максимальна довжина байтів

Максимальна кількість байтів для завантаження за один документ. Знизить файл, коли ця межа буде досягнута.

За замовчуванням це значення встановлюється на надзвичайно велике значення (в діапазоні екбабайтів), яке ніколи не буде досягнуто на практиці.


Хммм. Добре. Це повторило багато того, про що я дізнався, але все-таки гарну відповідь. Я не знав, що Heritrix усічені файли замість того, щоб пропускати їх.
Натаніель

3

Якщо мова йде про " завантаження 2MB max ", а не про " завантаження файлів з max 2MB ", ви можете просто обмежити вихід, збережений на диску.

wget -O - $url |head -c 1024(за бажанням > $SaveAsFile) -> зберігає перший КБ, а решта стає усіченою.

(достатньо, щоб побачити " ОК: $ Message ", не вбиваючи мою / tmp тоннами повідомлень про помилки з віддаленого пристрою ;-))


1

Це можливо за допомогою сторонніх виправлень: http://yurichev.com/wget.html


Перегляньте цю публікацію , ви повинні.
Джеймс Мерц

@KronoS там є кнопка "редагувати", якщо ви вважаєте, що відповідь потрібно розширити. Особисто це здається таким, як є, враховуючи, що пропозиція №1 на пов’язаній сторінці пояснює новий варіант…
supervacuo
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.