Сховати субдомен від результатів SEO / пошукової системи SEO?

11

У мене є піддомен, яку я не хочу вносити до жодного результату пошукової системи. Скажімо, у мене є:

http://www.example.com
http://child.example.com

Як я можу приховати всі URL-адреси child.example.comдомену, які наразі відображаються в результатах пошуку?

14

У корінь каталогу веб-сайту піддомену додайте файл під назвою robots.txt, що містить:

User-agent: *
Disallow: /

Це скаже веб-сканерам взагалі не індексувати сайт. Вони не повинні підкорятися, але головні будуть.

— Пол
джерело

Привіт, я вважаю, що це найкраще. І ще одна річ, дайте мені знати, якщо я це зроблю, скільки часу це займе, щоб діяти на веб-результатах? (напр., пошук Google) Чи потрібен мені час або це пройде раптово?

— 夏期劇場

2

Це буде визнано наступного разу, коли індексатори сканують на сайт. Це може бути що-небудь від декількох хвилин до тижнів, залежно від важливості вашого сайту. Ви можете переміщати речі швидше, додаючи сайт веб-майстрам у Google та Bing та отримуючи його для перечитування robots.txt - ви також можете видалити сторінки з індексу.

— Пол

1

Якщо ви хочете прискорити процес, ви можете надіслати запит на видалення за адресою google.com/webmasters/tools/removals для Google та надіслати URL-адресу на bing.com/toolbox/submit-site-url для Bing (так, це рекомендується метод видалення сторінок).

— Кет

Ви також повинні додати noindexдо індексу та інші сторінки в піддомені

— Anagio

Як робити, коли є загальні кореневі папки та назви субдоменів динамічні? stackoverflow.com/questions/21229235/…

— Гопі

6

Використання файлу robots.txt у вашому піддомені допоможе (і Google це дотримуватиметься), але ще один крок, який ви можете зробити, - це вказати за допомогою облікового запису веб-майстрів Google, що ви не хочете, щоб цей субдомен був індексований. Ви також можете використати метатег на всіх сторінках субдомену:

    <meta name="robots" content="noindex">

Якщо це трапляється з сайтом, який ви використовуєте лише для внутрішнього тестування, обмеження видимості визначеним набором IP-адрес у вашому файлі віртуальних хостів додатково приховає сайт.

— Кензо
джерело

На всіх сторінках ????? о ні ..

— 夏期劇場

@ 4lvin Це робиться динамічно з боку сервера. Кодувати його потрібно лише один раз. Не кажіть мені, що ви кодуєте окремі HTML-сторінки.

— Кензо

LoL, насправді "так". Тому що це дуже стара / застаріла система веб-сервісу. (ось чому це потрібно збити) Багато ізольованих сторінок всередині. : D

— 夏期劇場

@ 4lvin Ой ... удачі в цьому!

— Кензо

1

Замість того, щоб вставляти metaтег noindex на кожну сторінку, ви можете замість цього повернути X-Robots-Tagзаголовок відповіді HTTP з вашого сервера для вказаного субдомену - це вам потрібно зробити лише один раз.

— MrWhite

2

Рішення від Kenzo та Paul хороші, ви можете розмістити метатеги noindex на своїх веб-сторінках і додати robots.txt, щоб заборонити роботів.

Але, на мою думку, найкращим рішенням є використання автентифікації паролів у вашому піддомені. Це єдине рішення, з яким ви впевнені, що роботи можуть отримати доступ та індексувати ваш веб-сайт. Якщо ви використовуєте Apache, ви можете реалізувати htpasswd .

— Зістолоен
джерело

2

... в даний час відображається в результатах SEO?

Інші відповіді скоріше стосуються активного запобігання індексації (під) домену (що, перш за все, про що ви задаєте в запитанні), а не активного видалення ваших сторінок з результатів пошуку. ваше інше питання .

Вам все одно потрібно заблокувати свій сайт у robots.txt і подати тег noindex meta (або X-Robots-Tagзаголовка відповіді HTTP), як зазначено в інших відповідях, але вам також потрібно заблокувати доступ до своїх сторінок, повертаючи код стану 404 або 410.

Докладніше про це можна прочитати на довідковій сторінці Інструментів Google для веб-майстрів:
Вимоги до видалення вмісту

Після того, як ви все це встановите, ви можете скористатися інструментом " Видалити URL-адреси" в Інструментах Google для веб-майстрів. Однак це стосується лише окремих URL-адрес, а не цілого сайту, але це початок. (Google заявляє, що використання robots.txt, noindex та обслуговування 404 - це вимоги для використання інструмента видалення GWT.)

Однак якщо ви все ще хочете, щоб постійні користувачі мали змогу отримувати доступ до сайту, ввівши URL-адресу, це проблема - оскільки ваш вміст більше не доступний. Ви можете зробити його паролем, як пропонує Zistoloen, однак це поверне 403 (Заборонено) за замовчуванням, яке вам потрібно буде змінити, щоб повернути 404/410. Ви можете приховати свій вміст, повернувши 410 на Googlebot і дозволяючи всім іншим входити - але що робити з людьми, які натискають на результати в SERP?

Але якщо ви хочете, щоб Google видалив ваш вміст у найкоротші терміни, тоді вам потрібно видалити його з Інтернету "Google".

— Містер Білий
джерело