Чому я використовую Wget замість браузера? [зачинено]

У якому випадку я вважаю за краще використовувати Wget, а не браузер?

Я чув, що Річард Сталлман використовує його замість браузера з якихось причин анонімності. І що бачить сервер, коли ви отримуєте його файли за допомогою Wget?

Зазвичай ви ніколи не використовуєте його "замість браузера". Веб-переглядачі роблять HTML, роблять посилання доступними для натискання (на відміну від копіювання URL-адреси в іншу команду wget вручну) і т. Д. Буквально немає можливості використовувати wget як людину. Якщо вас турбує конфіденційність, існує мільйон способів очищення веб-переглядача (або ви можете використовувати менш функціональний веб-переглядач, наприклад, Lynx, якщо ви дійсно хочете отримати босоніжки, не руйнуючи всі видимість інтерфейсу користувача).

Wget використовується в першу чергу, коли ви хочете швидкого, дешевого, сценарію / командного рядка для завантаження файлів. Так, наприклад, ви можете помістити wget в сценарій, щоб завантажити веб-сторінку, яка оновлюється новими даними часто, що браузер насправді не може бути використаний. Ви можете використовувати різні параметри wget для сканування та автоматичного збереження веб-сайту, що більшість браузерів не може зробити, принаймні, без розширень.

Коротше кажучи, браузери - це додатки для людей, які дивляться в Інтернет, wget - це інструмент для машин та власників користувачів, які переміщують дані по HTTP. Дуже схожий на те, що вони роблять (витягуйте файли з веб-сайтів), але абсолютно різний у використанні.

Щодо того, які сервери "бачать", коли ви отримуєте речі з wget: усі клієнти HTTP (браузери, wget, curl та інші подібні програми) передають те, що називається "Агент користувача", що є лише рядком, який описує браузер (або в ці дні, описує функції браузера). Це можна використовувати для показу різного вмісту залежно від браузера користувача (тобто Google намагається не рекламувати Chrome людям, які вже використовують Chrome). Деякі дурні намагаються блокувати власні шенагіганські користувачі, блокуючи рядок агента користувача wget, але ви можете просто підробити рядок агента користувача Chrome, щоб обійти це. Частіше його просто використовують для статистики, тому ви знаєте, наскільки популярні різні веб-переглядачі, щоб ви знали, які з них слід ретельно перевірити.

Якщо ви використовуєте функції сканування wget, сервер побачить безліч швидких запитів в основному за алфавітом. Це мертвий подарунок, який ви чистите на їхньому сайті. Це виглядає зовсім інакше, ніж перегляд користувача. Коли користувач робить запит у веб-переглядачі, за кожним запитом сторінки супроводжуються всі зображення на цій сторінці, а потім відбувається деяка затримка, а потім з’являється запит на іншу випадкову сторінку (або, можливо, рядок сторінок із чіткою метою) .

Як уже згадували інші, wgetкористь від того, що він не вбудовується в доповнення, файли cookie та кеш, що робить його потенційно більш стабільним та безпечним. Але браузери і wgetнасправді мають дуже різні звичайні способи використання.

wgetце утиліта командного рядка, призначена для отримання вмісту, а не для його подання. З його допомогою можна отримати та завантажити будь-що через FTP, HTTP та HTTPS, включаючи будь-які типи файлів (HTML, зображення, бінарні файли тощо).

Єдина відмінність для сервера - це інша ситуація, user agentякщо ви не використовуєте його --user-agentаргумент для визначення браузера. У цьому випадку сервер не побачить різниці.

1) завантаження, ініційовані сценарієм, а не людиною

2) завантаження цілих сайтів (або фрагментів сайтів), а не окремих сторінок. (Wget може автоматично переходити за посиланнями.)

У Wget є кілька параметрів командного рядка для управління тим, що сервер бачить і може думати, включаючи довільні затримки між запитами на завантаження сторінок. Але якщо сервер сайту має певну політику проти ботів, ви часто витрачаєте велику кількість часу та трафіку, перш ніж отримуєте прийнятний результат.

При використанні веб-переглядача активне все, що є в ньому, включаючи небажані аддони та навіть зловмисне програмне забезпечення, тоді як wget - це проста команда, яка завантажує матеріал і не робить нічого іншого.

Веб-переглядач не завжди є менш захищеним, але, можливо, так.

Сервери "бачать" запит на завантаження, як завжди.

Веб-переглядач може записувати вашу діяльність в історії та файли кешу.

wget не має збереження пам'яті.

Це сказало, що веб-переглядач зручніший, і мені байдуже, чи з'ясовуються НСА, які я завантажив 4.7.2-040702-genericминулого тижня. Я використовую свій браузер для он-лайн-банкінгу та paypal, що, мабуть, важливіше, ніж більшість файлів, які я можу завантажити з wget.

Оскільки розробник, який використовує віддалені установки Ubuntu, часто не має сенсу встановлювати графічний інтерфейс ОС. У цьому середовищі «командного рядка» wget є важливим інструментом для завантаження файлів з Інтернету.

Я навіть не впевнений, які, якщо такі є, браузери можна запустити з терміналу.