Запитання з тегом «internet-archive»

Чи існують якісь механізми контролю за тим, що архів Інтернету архівує на сайті? Я знаю, заборонити всі сторінки, які я міг би додати : User-agent: ia_archiver Disallow: / Чи можу я сказати боту, що я хочу, щоб вони сканували мій сайт раз на місяць або раз на рік? У мене …

13 cache  internet-archive 

У мене є веб-сайт, який я, як правило, не хочу індексувати пошуковими системами, але хочу зберегти його на вічність на archive.org. Тож моє robots.txtпочинається з цього: User-agent: * Disallow: / Сьогодні, як повідомляє archive.org, я повинен додати наступне у своєму, robots.txtщоб дозволити їх ботам: User-agent: ia_archiver Disallow: Але я вже …

10 web-crawlers  robots.txt  internet-archive