Використання rel = canonical з синдикацією

Я працюю на сайті, який дозволяє синдикувати вміст (через API і дамп). Ми виявляємо, що ряд сайтів, які повторно публікують наш вміст, виявляється вищими в результатах пошуку Google, навіть якщо ми оригінальний видавець. Це засмучує.

Ми розглядаємо можливість скласти rel=canonical частину наших вимог щодо віднесення. Google стверджує, що законно використовувати його в доменах та в сценаріях синдикації.

Ви це зробили, і чи вважає Google канонічну URL-адресу в рейтингу пошуку? Чи допоможе нам у зменшенні такого "спаму" SERP?

— Метт Шерман
джерело

Те, що ви описуєте, не є спамом. Це люди, які роблять те, що ви просите їх, - об'єднуючи ваш вміст. Спам - це небажана реклама електронної пошти та веб-сторінки, створені з єдиною метою - бомбардувати людей рекламою, а не створювати щось цінне. Якщо це типи сайтів, що синдикують ваш вміст, вам потрібно переосмислити вашу модель синдикації, або це буде погано відображатись на вашому сайті (лише через асоціацію). Але просто мати кращий пошуковий рейтинг, ніж ви, не створює спам на сайті.

— Lèse majesté

@ Lèse справді? здається, що ці сайти прямо суперечать правилу "мало оригінального вмісту або взагалі немає", встановленому самим Google google.com/support/webmasters/bin/answer.py?answer=66361

— Джефф Етвуд

@Jeff: На які сайти ви конкретно посилаєтесь? Я говорю про акт використання самої веб-синдикації, що робить багато законних сайтів. Спам-сайт не повинен використовувати синдикований контент, а просто використання синдикованого контенту не робить сайт сайтом спаму (навіть якщо вони досягають кращого рейтингу, ніж ви). Справа в тому, що багато великих публікацій новин використовують синдикований контент від AP для доповнення власного вмісту. Це повторюваний вміст? Так. Але це спам? Ні. І я не думаю, що AP також рекламує спам.

— Lèse majesté

@ Lèse ключові слова тут доповнюють власний зміст . Якщо ВСЕ вміст скопійовано, яка саме цінність чи інтерес створюється саме?

— Джефф Етвуд

@Jeff: З питання Метта незрозуміло, що це сайти, на які він посилається. Він просто заявив, що є сайти, які повторно публікують його вміст (що є метою надання інтерфейсу API для синдикації), які займають рейтинг вище, ніж вихідний вміст. Це, на мій погляд, не означає, що це (обов'язково) спам-сайти. Але, можливо, моє тлумачення питання невірно.

— Lèse majesté

Відповіді:

Джефф на 100% правильний у всьому, що він сказав.

Ще одна проблема із запитом сайту на синдикацію - <link rel="canonical" href="http://example.com/foo">це те, що воно повідомляє Google, що на сторінці синдикації не повинно бути рейтингу сторінки, а http://example.com/fooнатомість слід отримати його.

Це створює дві основні проблеми.

Сторінка синдикації взагалі не відображатиметься в результатах пошуку Google, оскільки не має рейтингу сторінки. Сайт синдикації не був би з цього приємного. Зробити це малоймовірним, що вони будуть готові внести зміни, якщо навіть зможуть.
Це може не впливати на ваш сайт так, як вам подобається, оскільки ви фактично не зв’язуєтесь із сайтом Syndication. Мені було б цікаво, як Google впорається з цим. Це правда, що вони дозволяють перетинати сайт rel = "canonical", але я вважаю, що мета цього полягає в міграції сайтів і в тому, щоб кілька сайтів під одним хостом з однаковим вмістом мали одну сторінку дефакторів порівняно з низкою подібних / тих самих сторінок.

— Бен Гофман
джерело

Це кілька хороших моментів. Я думаю, що синдикація - це одна сфера, де є законна причина, щоб там було дублювати вміст. У цьому випадку краще залишити дублікат вмісту в спокої і прийняти, що саме це синдикація. Звичайно, в ідеалі Google повинен надавати перевагу оригінальній сторінці, а не сторінкам партнерів по синдикації. Можливо, потрібно створити новий тег, який є щось середнє rel="canonical"і <cite>тег HTML5 . Таким чином пошукові системи можуть знати, яка сторінка є оригіналом для законного дублюючого вмісту.

— Lèse majesté

підтверджено, дивіться мою відповідь від Метта Кеттса нижче.

— Джефф Етвуд

Моє дослідження показало, що необхідність повернення посилання - а також те, що НЕ слід відмінятись - є найважливішим критерієм.

Якщо веб-сайт, що займається синдикацією, не пов'язує вміст із посиланнями на оригінал, які дійсні для пошукових систем, то пошукові системи мають набагато складніше відстежувати, звідки походить контент, і повинні застосовувати складний «знайти дублікат текстового вмісту в весь Інтернет "евристика.

Я не впевнений, що більше, ніж це потрібно.

Пов’язане відео Метта Каттса

http://www.youtube.com/watch?v=x8XdFb6LGtM

Метт сказав, що було б корисно використовувати rel = "canonical", щоб повернутись на сторінку, де виникла стаття - подібно до того, як він часто пропонував, щоб синдиковані статті включали звичайні посилання (тобто <a>тег nchor), що вказували назад на оригінальна стаття.

Майте на увазі, що канонічне - це не просто ляпання rel="canonical"по <a>тегу; це більше так:

<html>
    <head>
         <link rel="canonical" href="http://example.com/foo">
    </head>
...

Отже, це вимагає різного роду роботи, ви повинні змінювати кожен заголовок сторінки. Я не впевнений, що багато з цих "синдикаторів" матимуть такий рівень контролю порівняно з простим посиланням ( sans nofollow!) Назад до джерела.

— Джефф Етвуд
джерело

Я б також запропонував прочитати запис в блозі Джеффа на цю тему, Обов'язкове захист атрибуції - blog.stackoverflow.com/2010/08/defending-attribution-required

— Скотт Мітчелл

@scott відзначити , що ми не НЕ спочатку вимагають подальшої посилання, але ми змінили це , тому що павук Google, не вистачає матеріалу , який був в наших даних звалювати деякі з скребків використовувати ... і відсутню ланку, яке nofollowed ніяк НЕ допоможе повернути його в індексі Google!

— Джефф Етвуд

@Jeff: Що стосується легкої дотичної ситуації, одна з моїх помилок - це те, що посилання у відповіді Stackoverflow мають rel = "nofollow". Чи не повинні користувачі з певним представником отримати перевагу no rel = "nofollow" на посилання, які вони публікують?

— Скотт Мітчелл

@scott поле веб-сайту у вашому профілі, на будь-якому веб-сайті Stack Exchange видалено наступне зображення в 2-х повторному виконанні, як люб’язно.

— Джефф Етвуд

@Jeff, я кажу про посилання у відповіді Stackoverflow. Наприклад, якщо я переглядаю / джерело на цій самій сторінці, я бачу, що посилання у вашій відповіді (наприклад, на YouTube) мають rel = "nofollow". Я припускаю, що це відвернути спамерів, але в той же час, здається, ви втрачаєте можливість покращити релевантність результатів пошуку для інших, не кажучи вже про те, щоб «не надавати кредит» (в очах Google) людині, яка написала стаття / запис у блозі / тощо. з яким пов'язано.

— Скотт Мітчелл

Додаю ще одну відповідь, тому що я отримав остаточну відповідь від Метта Кеттса на це:

rel=canonicalпрацює в різних доменах, але в основному він діє як [переадресація 301] , тому сторінки цільового сайту будуть переходити прямо на ваш сайт в Google. Будь-який сайт, що використовує ваш вміст, в основному буде видалений з пошукових систем.

Як каже Метт, найкращий спосіб подумати rel=canonical- це постійне переспрямування 301 .

Таким чином, вимагати крос-домену rel=canonicalяк набору термінів атрибуції було б як попросити їх переадресувати 301 вам! Ой. : P

Знаючи це, зрозуміло, що rel=canonicalвін призначений лише для використання на сайтах, над якими ви особисто маєте контроль - наприклад, коли ви переміщуєте домени і вам потрібен вміст одного домену, щоб замінити інший.

— Джефф Етвуд
джерело