Завантажте кілька HTML-сторінок із txt-файлу


1

У мене є файл txt з кількома посиланнями. Мені потрібно отримати доступ до кожного посилання в цьому тексті та завантажити / зберегти кожну сторінку. Для доступу до кожної сторінки потрібні логін та пароль. Як я можу це зробити терміналом linux / shell script / python? Чи може допомогти рись?


1
man wget Ви також можете скористатися способами Google пройти аутентифікацію
nnovich-OK

Ви хочете, щоб вам було запропоновано ввести імена користувачів та паролі, чи хочете їх зберегти в іншому файлі, який буде прочитаний сценарієм, який завантажує сторінки? Чи потрібна кожна сторінка окремого імені користувача та пароля чи однакові ім’я користувача та пароль використовуються для всіх сторінок? Чи містить кожен рядок у текстовому файлі лише посилання з іншим текстом чи вам потрібно шукати текстовий документ, у якому посилання перетинаються з іншим текстом?
місячна точка

Шановний @moonpoint, спасибі. Я хочу зберігати їх у іншому файлі, який прочитає сценарій, який завантажує сторінки, а кожен рядок у текстовому файлі містить лише посилання з іншим текстом. ||| Сайт не дозволяє завантажувати посилання , але коли я перебуваю на сторінці і даю Ctrl + S або Ctrl + P, щоб завантажити або роздрукувати (pdf) сторінку. Тому я подумав, що використовую рись для входу на сторінку та збереження кожного посилання у файлі txt. Як ви вважаєте, це можливо? Чи є якісь кращі ідеї?
Рафаель

Шановний @ nnovich-ОК, спасибі, але я це вже пробував. Сайт не дозволяє завантажувати wget з "--user та --password" або "--user --password --auth-no-challenge"
Рафаель
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.