Гаразд, тому у мене є веб-сайти та блоги Wordpress, які посилаються на безліч корисних сайтів - наприклад, веб-сторінки професорів та інші блоги WordPress. Однак я не хочу, щоб вони знали про мої сайти чи блоги WordPress. Чи існує спосіб запобігти їх перегляду, якщо вони перевіряють вхідні посилання свого сайту? Чи буде robots.txt працювати?
Ой, я просто придумав ідею. Чи буде розміщення посилання через bit.ly або tinyURL робота?
—
InquilineKea
Поле HTTP-Referer встановлюється та передається браузером.
—
LawrenceC
robots.txt
призначений для споживання браузера або клаверса, але його дотримання є добровільним і robots.txt
не передбачає, щоб браузер не передав заголовку HTTP-Referer. Навіть якщо це було можливо, погана ідея покладатися на це, оскільки ви залежно від веб-переглядача виконувати це, але немає ніякого способу дійсно змусити це зробити.