Я шукаю веб-павука для Ubuntu на зразок цього Webripper - програмного забезпечення Calluna . Ви можете завантажити цілий сайт, як можете
wget -r -m example.com
але особливістю, яку я шукаю, є те, що ви можете ввести пошуковий термін на зразок "Linux", і він здійснює пошук в Інтернеті та завантажує їх. Чи є такі програми на Ubuntu, як ця?
Відповіді:
Ви можете використовувати Google Alerts, щоб створити якусь пошукову сторінку, яка доставляється до каналу, а потім скористатися програмою RSS Reader або Thunderbird, щоб прочитати їх.
Я використовую Thunderbird для RSS. Я не знаю, чи є RSS-зчитувачі, які могли б експортувати канал на простий HTML.
Дайте httrack (CLI) або webhttrack (веб-інтерфейс) знімок, це знаходиться у Всесвітньому репо. Я не впевнений у характеристиці пошукового терміна, який ви описуєте, але він пропонує купу легко налаштованих варіантів.
http://packages.ubuntu.com/de/oneiric/webhttrack
Копір веб-сайтів HTTrack - Безкоштовний офлайн-браузер (GNU GPL)
Ви можете спробувати http ripper .
Ось деякі функції, розміщені на веб-сайті:
Free Software (GPL 3) Generic (works with almost every website) Runs on GNU/Linux and Windows Nearly undetectable / blockable by servers Built with python and pygtk
Екран
Перегляньте підручник від самого розробника httpripper:
Посилання для завантаження:
Він працював для мене під Ubuntu 11.10 x64
У CPAN Perl є адекватні модулі. Вам просто потрібно трохи скриптів на перлі.
Зокрема, погляньте на модуль WWW: Механізуйте на WWW: Модуль механізації .