Відповіді:
Жоден бот, який збирає електронні листи або перевіряє ваш сайт на вразливості, не поважатиме ваш robots.txt. Насправді ці зловмисні боти дивляться на robots.txt, щоб краще відобразити ваш сайт. Якщо у вас є якийсь момент, Disallow:це буде використано для кращої атаки на ваш сайт. Хакер, який вручну переглядає ваш сайт, повинен витрачати додатковий час на вивчення файлів / каталогів, які ви намагаєтеся заборонити.
robots.txt не підвищить безпеку вашого веб-сайту та не запобіжить збору електронної адреси. robots.txt - це посібник для пошукових систем, щоб пропустити розділи вашого веб-сайту. Вони не індексуються і повинні використовуватися для будь-яких розділів, які ви не хочете відображати в загальнодоступних пошукових системах.
Однак це жодним чином не завадить завантажувати будь-який інший бот на весь ваш сайт, щоб підвищити безпеку або запобігти збору електронної пошти. Для підвищення безпеки вам потрібно додати автентифікацію та дозволити лише аутентифікованих користувачів за межами захищених розділів. Щоб запобігти збору електронної адреси, не розміщуйте електронні листи у простому тексті (або легко розшифрованому тексті) на веб-сайті.
Файл robots.txt служить лише запитом, щоб боти і павуки залишали певні частини вмісту в спокої; він фактично не може перешкодити їх доступу. "Хороші" боти поважатимуть це, але "погані" (можливо, ті, які ви хочете заблокувати) ігнорують це та все одно продовжуватимуться.
Замість robots.txt, можливо, вам доведеться використовувати коди CAPTCHA.