Запитання з тегом «baidu»

Більшість моїх візитів - від павуків baidu. Я не думаю, що це зовсім не допомагає пошуковим системам, тому я думаю, як їх заблокувати. Це можна зробити за допомогою iptables? Я використовую nginx як свій веб-сервер.

15 traffic  nginx  web-crawlers  baidu 

Коли я перевіряю свій журнал apache, я можу побачити, що baidu протягом останніх 2 тижнів переглядає мій веб-сайт 10 разів на день. Справа не в тому, що мені це дуже важливо, але мені дуже цікаво, чому він це робить. Це дійсно невеликий веб-сайт на одній сторінці з не надто вхідними …

12 seo  web-crawlers  baidu