Robots.txt - CSS дозволяє або забороняє

Чи дозволено CSS та шаблони в robots.txt ?

Чи повинен це викликати якісь проблеми?

У Joomla CSS та шаблони заборонені в robots.txt . Будь ласка, допоможіть мені знайти рішення щодо того, чи потрібно заборонити забороняти роботу на CSS, шаблони тощо для моїх майбутніх веб-сайтів.

css robots.txt

— Манджу Джордж
джерело

Я не думаю, що Joomla блокує ці файли за замовчуванням - якщо ви це маєте на увазі?

— MrWhite

Відповіді:

Google нещодавно оновив свої вказівки, щоб офіційно заявити, що не слід блокувати доступ до файлів CSS або JS в robots.txt . Це гарантує, що коли Google сканує сайт, він може відображати його саме так, як і браузер.

Якщо ви блокуєте файли CSS або JS, це може завдати шкоди ефективності вашого веб-сайту в рейтингу.

Більше інформації тут: Оновлення наших технічних Правил для веб-майстрів та тут: Правила для веб-майстрів

Оскільки це нещодавня рекомендація, у багатьох веб-сайтів і CMS (таких як Joomla) часто такі файли заблоковані в robots.txt . Причина цього зазвичай полягала в тому, що пошукові системи не потребували сканування або індексації цих файлів, тому для запобігання індексації непотрібних файлів і каталогів та збереження "бюджету сканування" вони часто блокуються в robots.txt .

— Макс
джерело

Google насправді досить довго говорив, що не слід блокувати JS та CSS (відео Метта Кеттса з березня 2012 року), оскільки це може зашкодити G-здатності сканувати ваш сайт, це лише те, що останнім часом вони зробили його "більш офіційним".

— MrWhite

Радять не блокувати CSS та JS протягом більше десяти років. Я знаю, що рендерінг в пошукових системах здається новим, але це не так, і деякі форми візуалізації, включаючи простий JS, існують вже дуже давно.

— closetnoc

Додаткова примітка (дещо пов’язана з тим, що її часто використовують у JS) - Що стосується будь-яких контролерів, які роблять маршрут доступним через тему / перегляд / JSON / URi - ви повинні заблокувати їх, або ви можете зіткнутися з індексуванням не тематичних областей замість сторінки, використовуючи вказане грані даних. Це область "перегляду", яка дійсна для блокування, особливо речей, які JS використовує як JSON. Часто G запускає JS, переглядає посилання JSON та відвідує його. Викликає помилки, або якщо вони викрашені, наполовину вбудований індекс. Це зовсім нові мої глисти, але просто будьте в курсі.

— dhaupin

Я відчував вимушеність висловити свою сильну незгоду з вантажним культовим ставленням, що що б Google не сказав, ми повинні робити. Google також каже, що ваш сайт буде вищим, якщо ви дозволяєте їм сканувати зображення, використовувати HTTPS тощо. Виконуючи все, що говорить Google, ви просто надаєте їм більше сил для того, щоб підвищити великі вимоги. Зрештою, ви будуєте свій веб-сайт для людей чи роботів?

— Переповнення запитань

Здогадаєтесь, це залежить від того, наскільки ви покладаєтесь на хороший рейтинг в Google? Хоча, як і більшість речей, його лише невеликий показник у великій кількості факторів, які вони мають. Як ви вже згадували, вони нещодавно говорили, що HTTP - це невеликий чинник рейтингу, але я не змінив жоден із 100 сайтів, над якими працюю, на HTTP, і їхні рейтинги - чудові.

— Макс

Стратегія вашого robots.txt завжди має відповісти на питання: які розділи моєї мережі не повинні бути відскановані роботом і які ділянки можуть бути відскановані роботом.

Роботи реалізують власну логіку та мають багато цілей (не тільки у Google є сканер ...), тому якщо ви припускаєте, що робот якось "відволікається" на ваші файли CSS та JS, ви відкриєте чорну скриньку робота і припускаєте, що поточна реалізація і поточна мета робота. Це не корисна довгострокова стратегія.

Замість того, щоб думати у домені робота, спробуйте думати у вмісті домену вашого веб-сайту.

Хочу зазначити, що файл robots.txt не є механізмом захисту.

— saintedlama
джерело

Шаблони використовуються програмним забезпеченням для керування веб-блогами або контентом (CMS) і не повинні бути доступними зовні, якщо браузер та пошукові системи читають CSS, і їх слід читати. Сказавши це, я не заблокував би жодного, але я також не змінив би те, що є CMS. Пошукові системи та боти не дбають про ваші шаблони. Просто заблокуйте доступ до вашого сайту за URL-адресою / URI, які ви не хочете індексувати чи читати, але не вважайте robots.txt як інструмент захисту. Він не призначений для цього.

— closetnoc
джерело