По-перше, я принесу велике вибачення всім професійним веб-майстрам, але для цієї ОП у мене є одна золота пропозиція:
Порушувати вказівки пошукової системи
І я маю на увазі зробити це до того моменту, коли важливий вміст знаходиться у складному javascript і вміст роботів може сканувати не у належному HTML. Сюди входить поганий тег опису, поганий тег заголовка і т. Д. Хек, можливо, перетворіть весь вміст у лише відео, зроблене у спалах, або покажіть весь вміст лише як одне зображення. Це дійсно змусить сканера пошукової машини.
Я покажу на прикладі в коді:
Ось спосіб отримати щось проіндексоване:
<!DOCTYPE html>
<html>
<head>
<title>Web page</title>
<meta name="description" content="This is a wonderful web page">
</head>
<body>
<h1>A wonderful web page</h1>
<h2>By John Smith</h2>
<p>This is a wonderful page. ya de ya de ya de ya de ya de ya de</p>
<p>This is wonderful. ya de ya de ya de ya de ya de ya de</p>
</body>
</html>
Гаразд, я визнаю, текст не ідеальний, але ви розумієте, що я маю на увазі.
Тепер, якщо ви хочете сховати його від сканерів і зробити це простим способом, ви можете спробувати це:
<!DOCTYPE html>
<html>
<head>
<title>Private</title>
</head>
<body>
<img src="mywebsite.jpg" width=1024 height=768>
</body>
</html>
потім створіть зображення з назвою mywebsite.jpg і додайте до цього весь текст, а не в HTML, показаному вище. Тоді вам потрібно захистити mywebsite.jpg, зробивши його версією з водяними знаками тим користувачам, які не мають дозволу бачити реальну річ. Просто порівняйте рядки або IP-адреси користувачів з тими, які ви дозволяєте / забороняєте для зображення. Цей тип речі можна зробити в .htaccess за допомогою деяких правил перезапису.
Наприклад, щоб змусити googlebot бачити зображення з водяним знаком замість реального, скористайтеся цими правилами:
RewriteCond %{HTTP_USER_AGENT} ^googlebot$ [NC]
RewriteRule ^mywebsite.jpg$ specialrobotimage.jpg [L]
Я припускаю, що mywebsite.jpg - це ваш реальний веб-сайт як зображення, а specialrobotimage.jpg - водяний знак або зображення як повідомлення, в якому повідомляється, що лише реальні користувачі можуть бачити інформацію. Також правила передбачають, що все знаходиться в одній папці.