Знаючи свій онлайн-конкурс, як розкрити спрямовані домени 301

Я справді вірю, що будь-який веб-майстер, який заходить у будь-яку нішу, повинен заздалегідь вивчити свою конкуренцію в Інтернеті, щоб знати, проти чого вони протистоять, і перевірити, чи є їхні цілі реалістичними та доступними як за час, так і за гроші.

Як ви можете знати, існує кілька способів дослідження вашої конкуренції в Інтернеті. Рейтинг, місцеві рейтинги, цитати, соціальні згадки та звичайно зворотні посилання. Це питання не пов'язане з жодним із вищезазначених, але дещо пов'язане, оскільки воно має ту саму кінцеву мету, яку ви побачите на мить.

Тож сподіваємось, що моє запитання та відповіді, які слід подати, можуть допомогти іншим веб-майстрам зіткнутися з тією ж проблемою. Я проілюструю проблему як сценарій, який, сподіваюся, дасть вам уявлення про те, що я вірю і про що я прошу.

Сценарій

Ваш веб-сайт майже 2 роки займає рейтинг у досить конкурентній ніші. Тоді, нізвідки, ви потрапляєте в рейтинг, і сайт, який ніколи не був на сторінці 10, не маючи на увазі позицію 10, раптом стає вгорі.

Негайна реакція може бути помилковою, і ви досліджуєте їхній вміст та зворотні посилання, лише виявивши, що їхній вміст надзвичайно тонкий і вони мають нульові зворотні посилання. Отож, можливість полягає в тому, що зворотні посилання ще не індексувалися для цього сайту будь-яким інструментом, який ви використовуєте для перевірки їх. Або Google з будь-якої причини допустив помилку, яка вирішиться сама собою.

4 місяці і той самий тонкий сайт із 0 зворотними посиланнями (лише ті, від очікуваного бота / скрепера - веб-статистики тощо) досі залишається в рейтингу.

Так виглядає, що цей веб-сайт тут залишився, і ви починаєте замислюватися про інші причини, чому ваш сайт переживає перевагу.

Однією з можливих причин може бути те, що ваш власний рейтинг провалився разом з багатьма іншими сайтами, але потрапляння всіх цих сайтів у рейтинг нереально, тому єдиним способом вперед буде вважати, що вони заробили свій рейтинг через репутацію в Google або несправедливу гру . Висновок тут був би - або, принаймні, моїм - що сайт, про який йде мова, нещодавно перейшов з одного домену в інший. У них може бути просто 301 перенаправлення з одного домену на інший, або вони, можливо, повідомили Google в Інструментах Google для веб-майстрів, що вони перенесли сайт. Сценарій закінчений.

Питання

Моє запитання досить просте, і я прошу вибачення за довгі абзаци тексту, але я хочу добре уявити, що намагається досягти тут. Досить набрати текст, ось питання!

Чи можна дізнатися, чи перейшов один домен з одного до іншого домену, або використовуючи 301 перенаправлення або переміщення в Інструментах Google для веб-майстрів?

Знати перенаправлену 301 URL можна в декількох випадках, але не весь час.

Кілька онлайн-інструментів, таких як Ahrefs або MajesticSEO, можуть відображати подібну інформацію для вас. Вам просто потрібно переглянути зворотні посилання, які класифікуються за статусом "Перенаправлення".

Приклад для Ahrefs:

Однак вам потрібно знати, що хороший професіонал SEO не хоче, щоб люди знаходили переадресацію 301, оскільки в більшості випадків перенаправлена ​​URL-адреса, отримана в минулому, дуже хороша зворотна посилання з хороших сайтів SEO (наприклад, веб-сайти з високим PageRank).
Ось чому, загалом, для того, щоб приховати ці хороші місця для SEO (і, отже, може бути хороші можливості для кожного, щоб отримати дуже хороші зворотні посилання), ви не можете знайти перенаправлену URL-адресу з онлайн-інструментами. Дійсно, професіонал заблокував для перенаправленої URL-адреси всіх роботів (особливо тих, від Ahrefs, MajesticSEO ...), окрім Google.
Як наслідок, перенаправлення 301 є потужним для SEO та прихованим для людей.

PS: маскування також може застосовуватися професіоналом, щоб приховати зворотні посилання на перенаправлену URL-адресу для відвідувачів. Тому ці хороші місця для SEO ще краще приховані.

Існує кілька сайтів, які розкажуть вам про всіляку інформацію про такі сайти, як:

• Кількість сторінок на сайті
• Оцінка трафіку для сайту
• Інші сайти, розміщені за тією ж IP-адресою (майже що ви хочете)
• Інші сайти, зареєстровані в тому ж власнику (знову ж, майже те, що ви хочете)

Я не зміг знайти той, який розповість, які інші доменні імена переспрямовують на сайт. Напевно, не було б великим розтягненням для одного з цих сайтів додати цей тип функціональності.

Якби я спробував створити інструмент для відповіді на це питання, ось що я б робив:

• Завантажте весь список імен домену, у яких є записи DNS. Це саме по собі є проектом. Ви повинні звернутися до кожного реєстру, щоб отримати доступ або сплатити брокера, який зробив цю роботу. Це питання про stackoverflow має відповіді для обох підходів
• Завантажте сторінку з кожного з 150 мільйонів доменних імен, щоб побачити, чи вона переспрямовує на якийсь інший сайт. Я вважаю, що ви повинні робити близько 50 за секунду, а сканування займе трохи більше місяця. Це завдання є складним, тому його можна прискорити, працюючи над ним декількома машинами. Пропускна здатність та витрати на хостинг для цього сканера можуть бути значними, пропускна здатність для 50 сайтів в секунду, ймовірно, буде приблизно 20 Мб / с, якщо при середньому завантаженні до 50 КБ попереднього сайту.

Я б підозрював, що це більш ефективно, використовуючи міждоменний канонічний тег. Використання канонічного тегу дозволить зберегти неіндексований сайт активним, щоб ви могли продовжувати створювати посилання, які передаються на сайт з грошима (Важко надіслати запит на посилання на сторінку, яка вже була 301'd).

Немає жодних автоматизованих / вимкнених способів, які я знаю, щоб виявити 301s. І я не вірю, що існують способи бути впевненими, що ти їх усіх знайшов. Кілька варіантів, які можуть допомогти вам знайти:

DNS-пошук, щоб побачити, чи можете ви знайти інші домени того самого власника. Це дасть вам хороше стартове місце, якщо ви знайдете його. Є кілька веб-сайтів, які використовуються для пошуку мереж сайтів ( spyonweb.comя вважаю, що це один), вони використовують ідентифікатор AdSense, ідентифікаційний номер афілійованої особи, інформацію про DNS тощо. У цьому випадку я не думаю, що власник не залишить жодного з цих слідів, але ви ніколи не знаєш.

Веб-сканер з відкритим кодом, його слід налаштовувати лише для того, щоб переходити посилання 301 та повертати результати для потрібного доменного імені.

Шукайте продавців посилань у своїй ніші. Це, мабуть, робиться заради створення буфера між грошовим сайтом та можливими поганими посиланнями (набагато простіше відключити один переспрямований сайт, тоді потрібно отримати кілька сотень веб-майстрів, щоб видалити посилання на ваш сайт, якщо ви отримали штрафну санкцію ). Це може означати, що вони беруть участь у покупці посилань, використовуючи щось на кшталт Xenu на сайті продавців, з’явиться будь-яка 301s.

inanchor:пошук в Google. Якщо є ідентифікаційний бренд, який він добре займає, ви можете виявити деякі посилання, які використовують марку в тексті прив’язки, але перейдіть до іншого домену (який, сподіваємось, переспрямовує на потрібний домен).

Якщо ви знайдете 1 або 2 сайти за допомогою цих методів, ви, ймовірно, знайдете схему, за допомогою якої можна знайти більше.

Все це буде суперечливим, якщо вони використовують канонічний тег замість 301. Я впевнений, що ви можете зробити кілька додаткових пошукових креативних пошуків, але вони мають добре почати.

-Удачі