Запитання з тегом «web-crawlers»

Я переміщав сайт на новий домен. Сам сайт досить простий (він використовує Jekyll), і все пішло нормально - крім міграції ниток Disqus. Я мав частковий успіх - деякі нитки успішно мігрували, але не всі. Я спробував майстра з міграції домену (який зловив декілька), картографічний URL (який зловив декілька) та сканер …

9 web-crawlers 

Я використовую Ask.comяк одну з пошукових систем для того, щоб пінг моєї карти сайту. Коли я сьогодні пішов писати свою мапу сайту, щоб повторно індексувати свою мапу сайту, веб-сайт ( http://submissions.ask.com/ping ) каже, що її більше не існує? Я здійснив пошук DNS submissions.ask.comі, схоже Ask.com, видалив піддомен, але їх FAQ-сканер …

9 search-engines  sitemap  web-crawlers  ping 

У мене є сайт, який з регуляторних причин може не індексуватися або шукатися автоматично. Це означає, що нам потрібно тримати подалі всіх роботів і не дозволяти їм розкручувати сайт. Очевидно, у нас був файл robots.txt, який від самого початку відключає все. Однак, спостерігати за файлом robots.txt - це лише те, …

9 apache  web-crawlers  user-agent