Сканувати веб-сайт для файлів

Привіт Я хотів би завантажити всі PDF-файли з http://www.allitebooks.com/ і хотів би використовувати wget. моя команда, "http://www.allitebooks.com/" -P "C:\dummydir" -c -A pdf -rале я вважаю, що наразі вона не може переходити за посиланнями на піддомен, як я можу її виправити, щоб вона завантажувала http://file.allitebooks.com/20170105/Internet%20of%20Things%20and%20Big%20Data%20Technologies Наприклад,% 20для% 20Наступний% 20Генерація% 20Здоров'я.pdf .

Я спочатку збирався запропонувати wgetяк рішення, але після подальших досліджень я помітив кілька речей:

• PDF-файли не зберігаються на веб- сайті http://www.allitebooks.com (натомість вони розміщені на веб-сайті http://files.allitebooks.com )
• Каталог, що містить PDF-файли, є http://file.allitebooks.com/20170102/
• Обидві URL-адреси files.allitebooks, я згадував 403 Forbiddenпомилки повернення під час з'єднання

Відвідавши одну із сторінок електронної книги на сайті, ви можете побачити URL-адресу посилання на завантаження PDF. Це можна використовувати для завантаження PDF таким чином:

wget http://file.allitebooks.com/20170102/Smart%20Home%20Automation%20with%20Linux%20and%20Raspberry%20Pi,%202%20edition.pdf

Однак це не є рекурсивним, і немає можливості дізнатися, що знаходиться в цьому каталозі, не перевіряючи кожну публікацію в блозі та не копіюючи посилання для завантаження.