Примітка . Ця відповідь стає все більш застарілою.
Найбільшим учасником веб-колекції Інтернет-архіву став Alexa Internet. Матеріал, який Alexa сканує для своїх цілей, був переданий IA через кілька місяців. Додавання правила заборони, зазначеного у запитанні, не впливає на ці сканування, але Wayback буде "зворотно" шанувати їх (забороняючи доступ, матеріал все ще буде в архіві - ви повинні виключити робота Alexa, якщо ви дійсно хочете утримати свій матеріал поза Інтернет-архіву).
Можливо, є способи вплинути на сканування Alexa, але я з цим не знайомий.
Оскільки IA розробила власного сканера (Heritrix), вони почали робити власні скани, але вони, як правило, цілеспрямовані (вони виконують сканування перед виборами до Бібліотеки Конгресу та роблять національні сканування для Франції та Австралії тощо). Вони не беруть участь у подібних скануваннях світового масштабу, які проводять Google та Alexa. Найбільший сканування IA був спеціальним проектом для проскакування 2 мільярдів сторінок.
Оскільки ці скани працюють за графіками, що випливають із конкретних факторів проекту, ви не можете впливати на те, як часто вони відвідують ваш сайт або якщо вони відвідують ваш сайт.
Єдиний спосіб безпосередньо впливати на те, як і коли сканує ваш веб-сайт, це використовувати їх сервіс Archive-It . Цей сервіс дозволяє вказати спеціальні сканування. Отримані дані (з часом) будуть включені до веб-колекції IA. Однак це платна послуга передплати.