Я хочу скребти всі сторінки та підсторінки веб-сайту (за допомогою scrape, я маю на увазі зберегти весь онлайн-вміст у локальних HTML-файлах).
Яка найкраща утиліта для сканування всіх сторінок? В ідеалі я хотів би вказати, скільки шарів глибоко потрібно зіскрібти.
Відповіді:
У вас є два варіанти:
Ви можете використовувати wgetутиліту командного рядка так:
wget -rl 10Замініть на 10кількість рівнів, які ви хочете повторити вниз.
Або ви можете використовувати SiteSucker . Додаток GUI, який рекурсивно завантажує веб-сайти. Ви також можете вказати, наскільки далеко вниз для повторної роботи з SiteSucker.
