Захист роботів від сканування певної частини сторінки

Як веб-майстер, який відповідає за крихітний сайт, на якому є форум, я регулярно отримую скарги від користувачів, що як внутрішня пошукова система, так і зовнішній пошук (наприклад, під час використання Google) повністю забруднені підписами моїх користувачів (вони використовують довго підписи, і це є частиною досвіду форуму, оскільки підписи мають багато сенсу на моєму форумі).

Тому в основному я бачу два варіанти на даний момент:

1. Надання підпису як зображення, і коли користувач натискає на "зображення підпису", він переходить на сторінку, яка містить реальний підпис (із посиланнями в підписі тощо), і ця сторінка встановлюється як не сканувана пошуком. павуки двигуна). Це вимагало б деякої пропускної здатності та потребує певної роботи (тому що мені потрібен HTML-рендер, що створює зображення тощо), але очевидно, це вирішить проблему (є крихітні ґетчі в тому, що підпис не буде відповідати шрифтовій / колірній схемі користувачі, але мої користувачі дуже творчі зі своїми підписами, все-таки використовують користувальницькі шрифти / кольори / розміри тощо, тому це не так вже й багато питання).

2. Позначення кожної частини веб-сторінки, яка містить підпис, як такий, що не можна сканувати.

Однак я не впевнений у пізнішому: чи це щось можна зробити? Чи можете ви просто позначити певні частини веб-сторінки як такі, що не можна сканувати?

Ось таку ж відповідь, яку я надав noindex тегу для google у переповнюванні стека

Ви можете заборонити Google бачити частини сторінки, помістивши їх у iframe, які заблоковані robots.txt.

robots.txt

Disallow: /iframes/

index.html

This text is crawlable, but now you'll see 
text that search engines can't see:
<iframe src="/iframes/hidden.html" width="100%" height=300 scrolling=no>

/iframes/hidden.html

Search engines cannot see this text.

Замість використання iframes ви можете завантажити вміст прихованого файлу за допомогою AJAX. Ось приклад, який використовує jquery ajax для цього:

his text is crawlable, but now you'll see 
text that search engines can't see:
<div id="hidden"></div>
<script>
    $.get(
        "/iframes/hidden.html",
        function(data){$('#hidden').html(data)},
    );
</script>

Іншим рішенням є загортання сига в проміжок або дів із встановленим стилем, display:noneа потім використовувати Javascript, щоб забрати це, щоб текст відображався для браузерів з увімкненим Javascript. Пошукові системи знають, що він не відображатиметься, тому не слід його індексувати.

Цей біт HTML, CSS та javascript повинен це зробити:

HTML:

<span class="sig">signature goes here</span>

CSS:

.sig {
display:none;
}

javascript:

<script type="text/javascript"> 
$(document).ready(function()
  {
      $(".sig").show();
  }
</script>

Вам потрібно буде включити бібліотеку jquery .

У мене була подібна проблема, я вирішив її за допомогою css, але це можна зробити і за допомогою JavaScript та jquery.

1 - Я створив клас, який я буду називати " disallowed-for-crawlers" і розміщую цей клас у всьому, чого я не хотів бачити Google-ботом, або розміщував його всередині прольоту з цим класом.

2 - У головному CSS сторінки у мене буде щось подібне

.disallowed-for-crawlers {
    display:none;
}

3- Створіть CSS-файл під назвою disallow.css і додайте, що до robots.txt забороняється сканувати, тому сканери не зможуть отримати доступ до цього файлу, але додайте його як посилання на вашу сторінку після основного css.

4- В disallow.cssя помістив код:

.disallowed-for-crawlers {
    display:block !important;
}

Ви можете грати з javascript або css. Я просто скористався програмою disallow та css. :) сподіваюся, що це комусь допоможе.

Один із способів зробити це - використовувати зображення тексту, а не звичайний текст.

Цілком можливо, що Google з часом виявиться досить розумним, щоб прочитати текст із зображення, тому це може бути не повністю захищеним від майбутнього, але воно має працювати добре хоча б на деякий час.

У цього підходу є маса недоліків. Якщо людина з вадами зору - це погано. Якщо ви хочете, щоб ваш вміст адаптувався до мобільних пристроїв порівняно з настільними комп'ютерами, це погано. (і так далі)

Але це метод, який наразі (дещо) працює.

Це легко.

Перш ніж обслуговувати свою сторінку, ви повинні знати, чи це для бота, комп’ютера чи телефону. Потім потрібно встановити вміст відповідно. Це стандартна практика в цей день та вік та основна функціональність деяких CMS.

У SE існує безліч рішень для перенаправлення на основі USER AGENT, які можна помістити у ваш htaccess. Якщо це відповідає вашому програмному забезпеченню форуму, ви можете запускати різні коди з однієї БД, щоб доставити те, що потрібно Google, без збитків і обрізки.

Крім того, ви можете поставити невеликий рядок у своєму PHP-коді, який робить "якщо USER AGENT == Googlebot, то не показує підписи".

Якщо ви дійсно не можете цього зробити, ви можете отримати mod_proxy для обслуговування бота і використовувати його, щоб викреслити все, що генерує ваш php-код, що боту не потрібно бачити.

Технічно Google не схвалює, щоб їх пошукова система відображала іншу сторінку, ніж звичайний відвідувач сайту, однак, на сьогоднішній день вони не брали BBC та інших, які надають вміст веб-переглядача / IP / відвідувача з результатів пошуку. . Вони також мають обмежені засоби, щоб перевірити, чи був їх бот 'зведений'.

Альтернативне рішення приховування вмісту за допомогою CSS для його повторного включення за допомогою скрипту - це також трохи сіра область. Відповідно до їхніх власних вказівок щодо інструментів для веб-майстрів від 20.06.2011, це не є хорошою ідеєю:

http://www.google.com/support/webmasters/bin/answer.py?answer=66353

Це може бути не планшет, відлитий з каменю, але це актуально і від Google.

Приховування вмісту не допоможе меншині людей, у яких немає JavaScript, це може не викликати великого занепокоєння, однак, очікування завантаження документа, а потім показ підписів не буде задовільним досвідом перегляду, як ви Подумайте, що сторінка завантажена, тоді вона буде стрибати, коли з’являться приховані підписи, а потім висувати вміст сторінки. Цей тип завантаження сторінки може викликати роздратування, якщо у вас є низька верхня мережа, але це може бути не помітно, якщо у вас є швидка машина розробників на швидкому інтернет-з'єднанні.

Ні, немає жодного способу завадити роботам проскакувати частини сторінок. Це ціла сторінка або нічого.

Фрагменти в результатах пошуку Google зазвичай беруться з метаопису на сторінці. Таким чином, ви можете змусити Google показати певну частину сторінки, помістивши її в тег мета-опису. З вмістом, створеним користувачем, складно отримати хороші фрагменти, але, мабуть, зайняти перший пост потоку, можливо, вдасться.

Єдиний інший спосіб, який я можу придумати, - це використовувати Javascript. Щось подібне до запропонованих Paulmorriss може спрацювати, але я думаю, що пошукові системи все ще індексують вміст, якщо він знаходиться в HTML. Ви можете вийняти його з HTML, зберегти його у рядку Javascript, а потім додати його назад при завантаженні сторінки. Це стає дещо складним.

Нарешті, слід пам’ятати одне: якщо Google показує підписи користувачів у своїх фрагментах, вона вирішила, що це частина, найбільш відповідна для запиту користувача.

Ви можете помістити сторінку в PHP, якщо з "else", що веде до капчу, яка дає ключ для частини if.

Мені це зовсім не цікаво, тому що якщо облікові дані користувачів не збігаються на моїй сторінці, вони отримують порожню сторінку або надсилаються на сторінку входу.

<?php
session_start();

if(empty($_SESSION['captcha']) or $_SESSION['captcha'] != $key){
    header("Location: captcha.php");
}

if(!empty($_SESSION['captcha']) and $_SESSION['captcha'] == $key){

"the page"

}
?>

$key має бути хеш поточного дня або щось, що змінюється, тому недостатньо додати значення сеансу.

Напишіть у коментарі, якщо ви хочете, щоб я додав приклад captcha, тому що у мене його зараз немає.

Мабуть, <! - googleoff: all -> і <! - googleon: all -> робіть те, що ви хочете.

Докладніше https://www.google.com/support/enterprise/static/gsa/docs/admin/70/gsa_doc_set/admin_crawl/preparing.html#1076243

https://perishablepress.com/tell-google-to-not-index-certain-parts-of-your-page/