Запитання з тегом «googlebot»

Я відстежую геолокацію кожного учасника (використовуючи db-ip), і все нормально, крім мобільних телефонів із браузером Chrome. Вони завжди дають мені результат US Mountain View California ip:66.249.xxx.xxx. Це Google; Я на це 100% впевнений. Але людина, яка відвідує веб-сайт, - це я. Я навіть не в США; Я використовую локальний GSM-провайдер. …

27 googlebot  mobile  ip-address  google-chrome 

Як запобігти появі моїх файлів мапи XML у результатах пошуку Google, таких як результат site:пошуку: Я не розумію, чому Google вирішив би почати показувати файли мапи в результатах пошуку. Ці файли не призначені для споживання людиною. Google повинен мати можливість сканувати його, щоб мати можливість його обробляти, тому я не …

23 google  sitemap  search-engine-indexing  googlebot  xml-sitemap 

Багато було зроблено частоти повзання павуків Baidu. Це правда: «Байдуспідер повзе, як божевільний». Я відчував це явище на сайтах, з якими працюю. Принаймні в одному екземплярі я виявив, що Baiduspider повзає приблизно з тією ж частотою, що і Googlebot, незважаючи на те, що Baidu доставляє приблизно .1% стільки трафіку, скільки …

18 seo  search-engines  googlebot  web-crawlers 

Тиждень тому я додав файл robots.txt на один із своїх сайтів, що повинно було завадити Googlebot намагатися отримати певні URL-адреси. Однак у ці вихідні я можу бачити, як Googlebot завантажує ці точні URL-адреси. Чи кешує Google robots.txt і, якщо так, чи слід?

17 googlebot  robots.txt  google-cache 

Кожен раз, коли я створюю чуйний веб-сайт, я зазвичай створюю 2 меню: 1 приховане та використовується для мобільних пристроїв, а інше відображається як головне меню, а потім приховане для показу мобільного меню. Щоразу, коли мова заходить про SEO та павуків, які переглядають веб-сайт, мені приїжджають зубріння за те, що вони …

16 seo  web-crawlers  googlebot  navigation 

В даний час я переспрямовую всі з'єднання, що не є HTTPS, на HTTPS і підтримую TLS v1, TLS v1.1 та TLS v1.2. Я переконфігурував свій тестуючий сервер, щоб він приймав лише дуже обмежений і безпечний набір шифрів і лише TLSv1.2. Після запуску тесту лабораторій SSL я помітив, що їх діаграма …

12 seo  search-engines  https  googlebot  bingbot 

Я бачив такий код, як запобігання Google індексувати частину сторінки: <p>This is a paragraph that will be indexed by Google.</p> <!--googleoff: index--> <p>This is a paragraph that will NOT be indexed by Google.</p> <!--googleon: index> Це працює?

12 search-engine-indexing  googlebot 

Ось один із моїх клієнтів, який виконує певні дії після входу в його акаунт. Унікальний маркер - це просто зашифрований ідентифікатор користувача + часова мітка. 94.254.xxx.xxx - - [02 / лип / 2011: 22: 25: 46 +0200] "GET / деяка дія / унікальний-token-123abc HTTP / 1.1" 200 410 "-" "Mozilla …

12 google  search-engines  googlebot 

Я помітив, що Google Webmaster Tools повідомляє про багато заблокованих ресурсів на моєму веб-сайті. Зараз усі "заблоковані ресурси" - це .css, .js та зображення (.jpg, .png), які я обслуговую із Cloudfront CDN. Я витратив багато часу на тестування і намагався з’ясувати, чому Google не сканує ці файли і повідомляє про …

11 google-search-console  web-crawlers  googlebot  cdn  amazon-cloudfront 

Написавши ряд ботів і побачивши величезну кількість випадкових ботів, які трапляються на сканування сайту, мені цікаво, як веб-майстру, які боти дійсно варто пускати на сайт? Моя перша думка полягає в тому, що надання ботів на сайт потенційно може принести йому реальний трафік. Чи є якась причина, щоб дозволити ботам, які, …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

Контекст: У нас є веб-сайт, який доступний у декількох мовних версіях. Однак зміст однаковий. Кожна перекладена версія сайту доступна на окремому піддомені. На деяких сторінках ми використовуємо <link rel="canonical" />для вказівки на канонічну версію тією ж мовою тієї самої сторінки, якщо це необхідно. Це лише основні матеріали нормалізації, в даному …

11 seo  google  googlebot  internationalization 

Сьогодні я зіткнувся з цією статтею у своїх новинах щодо SEO. Здається, це означає, що ви можете використовувати Noindex:директиви на додаток до стандартних Disallow:директив у robots.txt . Disallow: /page-one.html Noindex: /page-two.html Схоже, це не дозволить пошуковим системам сканувати сторінку першу, а також заважає індексувати сторінку другу. Чи підтримується ця директива …

10 web-crawlers  robots.txt  googlebot  noindex 

Якщо я маю вміст за формою POST (у моєму випадку вибране поле), чи зможе Googlebot чи інші павуки пошукової системи сканувати вміст за цією формою? Наприклад, якби у мене було 4 переклади однієї сторінки, а вибір мови був формою POST до тієї самої URL-адреси, яку потім перенаправляли на URL-адресу, що …

10 seo  googlebot  forms  multilingual 

У мене в папці в школі було кілька приватних файлів. Ви можете побачити, що файли існували, перейшовши на сторінку myschool.edu/myusername/myfolder, але намагаючись отримати доступ до самих файлів через myschool.edu/myusername/myfolder/myfile.html, повертає помилку 403. І все ж Google якось зумів схопити вміст цих приватних файлів і зберегти їх у своєму кеші! Як …

10 web-crawlers  security  googlebot 

Тож тепер Google скасувала схему сканування AJAX . Вони кажуть, що не заважайте впроваджувати його на нових веб-сайтах, оскільки це більше не потрібно, оскільки Googlebot зараз не має проблем із динамічним вмістом. Чи слід ми негайно довіряти цьому твердженню чи краще дотримуватися настільки ж застарілого стандарту?

9 seo  web-crawlers  googlebot  ajax