Чи Yahoo Search такий самий, як зараз у Bing Search?

У нас були серйозні проблеми з (неймовірно) погано написаним павуком Yahoo в минулому , і в результаті ми їх заблокували. Марко Армент з Tumblr також поділився з нами своїми розчаруваннями 31.08.2009, що було фактором, який нас блокував.

[Павук Yahoo] наповнює нас 70-200 запитами / секунду приблизно з 5:30 ранку EST. Я ніколи не бачив нічого подібного, навіть від їхніх шахрайських «експериментальних» сканерів, які зловживали нами в минулому. Забору Robots.txt недостатньо: мені потрібно заблокувати їх IP на рівні балансира навантаження. Оскільки в минулому вони зловживавали переповненням стека, я подумав, що ви можете знати.

Схоже, пошук в Yahoo в Інтернеті - "Powered by Bing!" зараз. Це добре, тому що у нас ніколи не було проблем з павуком Бінга (він же MSNBOT).

Отже, чи пошук Yahoo такий самий, як зараз у пошуку Bing, чи ми повинні шукати розблокування їх, якщо вони якось проти всіх шансів перестали смоктати так сильно?

Я б не бачив причин розблокувати пошуковий бот Yahoo. Є два способи, якими Yahoo може користуватися Bing Engine. Вони могли б інтегрувати його з власними і встановити гібридний гусеничний візок в мережі, або вони могли просто надсилати запити в Bing Engine і виплювати результати, які вони отримують.

З документа Joel пов'язаний є інший документ тут . У ньому Yahoo заявляє: "У середині липня ми почали тестувати доставку органічних результатів від Бінга до Yahoo!" Для мене це означає, що Yahoo не тісно інтегрується з Bing Engine. Вони просто викликають API Bing Engine. Це також мало б сенсу з точки зору необхідної роботи, оскільки Yahoo Engine відходить у довгостроковій перспективі.

Це означає, що ми не повинні бачити більше Yahoo Bot, який сканує Інтернет, коли 100% результатів виходять з Bing Engine. Тому немає причини розблокувати його.

Здається, що вони тільки почали розгортати результати пошуку Bing на Yahoo! приблизно 25% пошукових запитів, ціль яких повністю переключиться в серпні / вересні. Я б сказав, що павук Yahoo навіть більше не працює, і якщо він є, це не дуже актуально.

Я підняв пошуковий запит у Yahoo у понеділок - підтвердження містило таку примітку про перехід на Бінг, яку ви можете вважати відповідною:

Yahoo! Пошук схвильований, щоб досягти нового етапу в Yahoo! і Microsoft Search Alliance; інтеграція алгоритмічних результатів Microsoft майже завершена для ринку США та Канади. Yahoo! На даний момент пошук тестує нову інтеграцію, і ви можете помітити інший досвід під час пошуку. У рамках цього тесту деякі основні списки пошуку використовуватимуть результати веб-пошуку веб, зображень та відео Microsoft. Всі покращення, які ви очікували від Yahoo! Пошук зберігається, і ми будемо продовжувати впроваджувати нові вдосконалення в пошуковій системі.

Оскільки це лише етап тестування, не кожен пошук дасть різні результати, і зміни можуть бути не очевидними. Результати можуть відрізнятися для одного і того ж ключового слова від одного пошуку до іншого. Оскільки алгоритми ранжирування та індексації різні, результати пошуку можуть відображатися в іншому порядку. Результати пошуку, які раніше не з’являлися, можуть бути включені, і ви не можете бачити результати пошуку, які раніше були включені. Ми цінуємо ваше терпіння, коли ми ретельно перевіряємо нові результати.

Дякуємо ще раз за контакт з Yahoo! Пошук.

FYI, У понеділок, 23 серпня (або протягом декількох днів після цього) Yahoo офіційно почне подавати результати пошуку BING.