Я намагаюся використовувати Wget для завантаження сторінки, але я не можу пройти екран екрана входу.

Як я можу надіслати ім'я користувача / пароль, використовуючи дані публікації на сторінці входу, а потім завантажити фактичну сторінку як зареєстрований користувач?

На основі сторінки керівництва:

# Log in to the server.  This only needs to be done once.
wget --save-cookies cookies.txt \
     --keep-session-cookies \
     --post-data 'user=foo&password=bar' \
     --delete-after \
     http://server.com/auth.php

# Now grab the page or pages we care about.
wget --load-cookies cookies.txt \
     http://server.com/interesting/article.php

Переконайтесь, що --post-dataпараметр правильно кодується у відсотках (особливо амперсандах!), Або запит, ймовірно, не вдасться Також переконайтесь, що userі чи passwordє правильні клавіші; ви можете дізнатися правильні клавіші, застосувавши HTML-код сторінки входу (перегляньте функцію "перевірити елемент" вашого браузера та знайдіть nameатрибут у полях імені користувача та пароля).

Якщо вам це потрібно для одноразового використання, ви можете увійти через браузер і скопіювати потрібні заголовки після цього:

Використовуйте "Скопіювати як cURL" на вкладці Мережі Інструментів для розробників (перезавантажте сторінку після відкриття) та замініть прапор заголовка curl -Hта --datawget's --headerта --post-data.

Я безпосередньо передав файли cookie існуючого з'єднання, щоб wget з --no-cookies та заголовком HTTP-запиту Cookie. У моєму випадку це був логін в університеті Moodle, коли вхід виглядає складнішим (використовуючи декілька запитів із квитком для входу). Я додав --post-data, оскільки це був запит POST. Наприклад, отримати список усіх користувачів Moodle:

wget --no-cookies --header "Cookie: <name>=<value>" --post-data 'tab=search&name=+&personsubmit=Rechercher&keywords=&keywordsoption=allmine' https://moodle.unistra.fr/message/index.php

У мене була така ж проблема. Моє рішення полягало в тому, щоб зробити логін через Chrome і зберегти дані cookie в текстовий файл. Це легко зробити за допомогою цього розширення Chrome : розширення експорту Chrome cookie.txt .

Коли ви отримуєте дані cookie, є також приклад того, як їх використовувати з wget. Вам надано простий командний рядок копіювання та вставки.

Я хотів однокласника, який не завантажував жодних файлів; ось приклад підключення результатів cookie до наступного запиту. Я перевіряв лише наступне на Gentoo, але він повинен працювати в більшості * nix середовищ:

wget -q -O /dev/null --save-cookies /dev/stdout --post-data 'u=user&p=pass' 'http://example.com/login' | wget -q -O - --load-cookies /dev/stdin 'http://example.com/private/page' (це один рядок, хоча він, ймовірно, завершується у вашому браузері)

Якщо ви хочете, щоб вихід збережений у файлі, змініть -O -на-O /some/file/name

Вам не потрібно CURL, щоб робити дані форми POSTed. --post-data 'key1=value1&key2=value2'працює просто чудово. Примітка. Ви також можете передати ім'я файлу, щоб перейти з даними POST у файлі.

Якщо вони використовують основну автентифікацію:

wget http://username:password@www.domain.com/page.html

Якщо вони використовують дані форми POSTed, вам потрібно буде використовувати щось на зразок cURL .

Рішення, яке використовує рись і wget.

Примітка: Lynx повинен був скласти прапор --enable-persistent-cookies, щоб це працювало

Коли ви хочете використовувати wget, щоб завантажити якийсь файл з сайту, який потребує входу, вам просто потрібен файл cookie. Для того щоб генерувати файл cookie, я вибираю рись. lynx - це текстовий веб-браузер. Для збереження файлу cookie спочатку вам потрібен файл конфігурації для рисі. Створіть файл lynx.cfg. Запишіть ці конфігурації у файл.

SET_COOKIES:TRUE
ACCEPT_ALL_COOKIES:TRUE
PERSISTENT_COOKIES:TRUE
COOKIE_FILE:cookie.file

Потім запустіть рись із цієї команди:

lynx -cfg=lynx.cfg http://the.site.com/login

Після введення імені користувача та пароля та виберіть "зберегти мене на цьому ПК" або щось подібне. Якщо вхід буде успішним, ви побачите прекрасну текстову веб-сторінку сайту. І ви виходите. У поточному каталозі ви знайдете файл cookie з ім'ям cookie.file. Це те, що нам потрібно для wget.

Тоді wget може скачати файл з сайту за допомогою цієї команди.

wget --load-cookies ./cookie.file http://the.site.com/download/we-can-make-this-world-better.tar.gz

Приклад завантаження за допомогою wget на сервер велике посилання на файл, яке можна отримати у вашому браузері.

Наприклад, за допомогою Google Chrome.

Увійдіть, де вам потрібно, і натисніть скачати. Перейдіть, щоб завантажити та скопіювати своє посилання.

Потім відкрийте DevTools на сторінці, де ви входите, перейдіть до консолі та отримайте куки, ввівшиdocument.cookie

Тепер перейдіть на сервер і завантажте свій файл: wget --header "Cookie: <YOUR_COOKIE_OUTPUT_FROM_CONSOLE>" <YOUR_DOWNLOAD_LINK>