Інший веб-сайт є дзеркальним відображенням і займає вище мого сайту в результатах пошуку

Існує сайт поганої репутації, відомий як thedirty, який повністю відобразив мій сайт і тепер має посилання, що з’являються в Google на місці №1 з використанням мого вмісту. Я перевірив свої файли журналів і помітив, що цей сайт колись сканує мою, а також має 10 000 посилань з їхнього сайту на мій.

Я заблокував доступ користувачів, на який посилається цей сайт, і вже повідомив про них як веб-спам до Google. Я також відкликав домен.

Як вони отримують найпопулярніші посилання в Google (навіть наздоганяючи мою) для такої нечесної тактики? Які кроки до повного усунення такої проблеми, як ця?

ОНОВЛЕННЯ 28.08.2014:

Я думав, що надам оновлення щодо цього, оскільки зараз у мене є додаткова інформація. Тож тридцять вказали свої субдомени на мій ip, що призвело до того, щоб їхні піддомени виглядали як мій веб-сайт.

Пару днів це мало мало значення, тому що, використовуючи htaccess, я перенаправляв усі HOSTS не з мого домену, назад до мого домену, що в основному означало, що я отримую їх посилання на трафік субдоменів у Google. Через пару днів двадцять змінили свої піддомени, щоб повернутись на свій веб-сайт, щоб я більше не користувався цим.

Отже, вся справа в тому, що вони використовували мій вміст, щоб отримати найкращі рейтинги в Google, і тепер спрямовують ці посилання на свій веб-сайт, щоб збільшити більше трафіку на їхній.

Це брудна тактика брудного веб-сайту. Я сподіваюся, що Google карає таку поведінку.

Якщо вони просто відображають ваш сайт, подаючи його через проксі-скрипт або повторно регулюючи ваш HTML-вербатум, ви можете додавати канонічні URL-адреси на свої сторінки. Це дозволить Google дізнатися, що ваш вміст є оригінальним джерелом та покаже вашу URL-адресу в результатах пошуку, а не їх.

Надішліть запит на захист DMCA в Google. Вони з ними трохи повільно, але в кінцевому рахунку вони видалять ці сторінки з їх індексу.

Відкликання посилань - розумний хід.

Не знаю, чи корисне блокування користувачів. Можливо, розміщення повідомлення вгорі ваших сторінок для того, щоб вони повідомили, що ви оригінальний сайт, а інше є шахрайством, можливо, буде кращим рішенням.

Ви можете подати скаргу на захист DMCA, і якщо ви перебуваєте в США, ви можете подати позов про цивільне законодавство про авторські права.

Ось посилання на коротку відповідь, що пояснює, як скарга DMCA може допомогти будь-кому:

Чи потрібно вам бути в Сполучених Штатах, щоб подати скаргу на захист DMCA?

... і ще одне пояснює більше ...

Скільки вашого вмісту потрібно скопіювати, щоб ви могли подати скаргу на захист DMCA?

Якщо ви перебуваєте в США, ви можете найняти адвоката, який знайомий з проблемами авторського права, і надіслати їм лист про припинення та відмову. Дайте їм 10 днів (реальні, а не робочі дні, хоча робочі дні теж будуть непогані) для видалення вмісту. Ви також хочете зробити знімки оскаржувального сайту для ваших доказів та оснащення вашого сайту. Якщо ви перевіряєте, чи була видалена сторінка, перевірте сайт безпосередньо, а не результати пошуку.

Якщо сторінку не було видалено протягом періоду часу, ви можете подати федеральну цивільну справу, яка потребуватиме щонайменше 10 000 доларів США на захист і навряд чи коштуватиме вам нічого. Ви будете на водійському місці. Цілком ймовірно, що врегулювання може мати принаймні 10 000 доларів США, а можливо і більше. Ви також можете повернути свої витрати. Важливо - запропонувати недорогий варіант виправлення проблеми, отже, повідомлення про припинення та відмову. Після цього вам зрозуміло, що ви можете подати справу до відповідача без відповідальності.

Ще одна примітка полягає в тому, що вам потрібно буде продемонструвати шкоду, якщо ви звернетесь до суду. Втрата пошукового трафіку - це збитки. Тут ви будете працювати зі своїм адвокатом для збору показників, які ілюструють втрату трафіку, і вам потрібно буде монетизувати вартість цього трафіку. Звичайно, ви можете припустити більш високі показники тут навіть при 100% конверсії. На всякий випадок я збираю сьогодні показники щодо втрат трафіку за допомогою Google Analytics та програмного забезпечення для аналізу ваших журналів сьогодні та в майбутнє.

Будь ласка, знайте, що подання справи не є складною або дуже дорогою, особливо порівняно зі збитками, які ви зазнаєте зараз і в майбутньому. Порушення авторських прав останнім часом зменшуються, але ті, хто порушує авторські права, набагато сміливіші. Нам потрібно зупинити цих людей, і єдиний реальний спосіб - це вкласти фактор витрат у бізнес-стратегію, яка робить порушення авторських прав невигідним.

Ви можете відслідковувати їхні IP-адреси (або IP-адреси) та повертати їм абсолютно інший вміст у дзеркальне відображення - все, що завгодно. Таким чином ви отримуєте вільний простір для реклами будь-якого, і ви можете використовувати їх високу позицію в Google на вашу користь.

Я колись використовував це, щоб просто пояснити користувачам на дзеркальному веб-сайті, що це неправильний домен. Ви також можете опублікувати простий заголовок перенаправлення HTTP.

Трохи запізнення для вас, але найкращою ідеєю захисту вашого веб-сайту (у майбутньому) було б таке: https://www.youtube.com/watch?v=I3pNLB3Cq24 (defcon 21, захист за номерами), підробка коду повернення, щоб користувачі буде бачити вміст, але боти будуть

• викинути вміст
• повзати по колах
• перестань працювати

інші можливі ідеї - переконайтесь, що ваші користувачі нічого із цього не бачать:

• нехай вони зберігають ГБ інформації (на вашому сервері лише кілька кбіт)
• змусити ботів залити власну пам’ять фальшивими посиланнями
• надсилайте підроблений вміст (100% болш * т - вам потрібно писати речі - наприклад, "Обама вагітна", "Людина-павук 5 - наступного літа", ... щоб ваші злодії могли приймати його ...)
• надсилайте підроблені файли (наприклад, 42.zip, якщо вони не перевіряють скопійований вміст, його користувачі розважатимуться -> AV-інструменти покажуть, що щось не так -> користувачі будуть p * ss * d ...)
• нехай вони чекають додаткових даних (розмір файлу = 1-10 Мб і надсилають випадкові кр * р з 1 байт / с або менше)

інші ідеї:

• посилання, захищені Javascript (старі, більше не використовуються? але якщо вони залишаться незмінними, користувачі надішлють вам (на деякий час))
• динамічне сміття (використовуйте коментарі чи невидимі предмети, щоб боти завантажували речі, які користувачі не бачать - хороші боти для цього не потраплять)
• block ip звертає увагу на те, що завантажувати занадто швидко / занадто швидко / неправильно (боти не ведуть себе як люди 1) кожне посилання на кожній сторінці 2) є шаблон або повний хаос у способі вибору наступного посилання)
• використовуйте Javascript для переадресації на ваш сервер, якщо файли не розміщені на вашому сервері (не допоможе проти крадіжок, але злодії повинні його видалити або їхні користувачі не залишаться на своїй сторінці - ви можете зашифрувати це в різні підпрограми (наприклад, розшифровка вмісту ))

Це називається Google Proxy Hack, і це трапилося і зі мною.

Насамперед:

• Надішліть скаргу DMCA на веб-хост. Скористайтеся цим посиланням, щоб створити правильно сформовану скаргу та надішліть її на електронну адресу підтримки або зловживань. Якщо хост знаходиться в США, він повинен зняти сайт. Навіть якщо вони не знаходяться в США, вони все одно можуть вирішити зняти сайт. (Це сталося зі мною одного разу.)
• Використовуйте інструмент Google DMCA, щоб попросити видалити дзеркальну URL-адресу з її результатів пошуку.
• Використовуйте звіт про скрепер Google, щоб повідомити про помилку в алгоритмі Google.

По суті, з боку Google це невдача. При всьому, що вони говорять про те, що рейтинг базується на "якісному оригінальному контенті", це абсурдно простий зустрічний приклад, який, відверто кажучи, просто бентежить.

Сподіваємось, що якщо достатньо людей скаржиться на це, зрештою, Google зійде разом і напише 10 рядків коду, необхідних для перевірки того, що сайт є точно дзеркалом раніше створеного сайту.

Також майте на увазі, що використання канонічних URL-адрес не завжди працює в цьому випадку. Багато з цих проксі-скриптів змінюють канонічні URL-адреси, щоб вказувати на дзеркальний сайт, тим самим роблячи їх марними.

Нарешті, пам’ятайте, що вони, можливо, також спамували ваш основний сайт зі сміттєвими посиланнями, щоб пошкодити ваш рейтинг. (Це трапилося і зі мною.)

Якщо ви займаєтесь пошуком і творчим мисленням, є кілька способів дати відсіч. Я дійсно не думаю, що опублікувати повний список тут не годиться, оскільки це просто полегшує життя хакерів.

Як і інші згадували, подання скарги щодо закону про захист авторських прав у цифрову епоху та порушення цивільно-правового позову щодо авторських прав можуть бути найкращими варіантами.

Щодо нового вмісту, який ви публікуєте, ви можете розглянути повідомлення про оновлення свого веб-сайту у соціальних мережах (Twitter, Facebook тощо), як тільки ви публікуєте повідомлення. Зазначена там мітка часу може бути справедливим показником, який ви написали першим, якщо вам доведеться це довести. За допомогою Інструментів Google для веб-майстрів ви можете застосувати налаштування, щоб Googlebot часто сканував ваш сайт . Припускаючи, що популярні пошукові системи регулярно індексують ваші веб-сторінки (використовуйте оператор сайту, сайт: example.com, щоб дізнатися це), дата в кешованій копії може використовуватися як приблизний показник часу публікації вмісту.

Крім того, для нового вмісту, який ви публікуєте, ви можете вставляти водяні знаки у зображення та розміщувати коментарі у файлах JS, що вказує на те, що ви є початковим власником цих файлів.