Повний текст пошуку за допомогою InnoDB

Я розробляю великомасштабний веб-додаток, де його частина - це база даних MySQL дискусійних дописів, якій потрібно плавно зрости до 20М + рядків.

Я спочатку планував використовувати MyISAM для таблиць (для вбудованих можливостей повнотекстового пошуку ), але думка про блокування всієї таблиці завдяки одній операції запису змушує заткнутися. Замки на рівні рядків мають набагато більше сенсу (не кажучи вже про інші переваги швидкості InnoDB при роботі з величезними таблицями). Отож, з цієї причини я досить налаштований використовувати InnoDB.

Проблема полягає в тому, що ... InnoDB не має вбудованих можливостей повнотекстового пошуку.

Чи варто звертатися до сторонньої пошукової системи? Як люцена (с ++) / сфінкса ? Чи маєте хтось із вас ніндзя баз даних якісь пропозиції / вказівки?Зоя LinkedIn (базується на люцені ) виглядає найкращим варіантом на даний момент... будучи на базі можливостей у реальному часі (що досить важливо для мого застосування). Я трохи не вагаюся, щоб зробити це ще без певного розуміння ...

(FYI: буде на EC2 з високомобільними пристроями, використовуючи PHP для обслуговування фронту)

Я можу поручитися за те, що Myteam fulltext є поганим варіантом - навіть, не відкидаючи різних проблем із таблицями MyISAM в цілому, я бачив, як матеріали з повним текстом виходять з рейок і починають пошкоджувати себе і регулярно руйнувати MySQL.

Спеціальна пошукова система, безумовно, стане найбільш гнучким варіантом тут - зберігати публікаційні дані в MySQL / innodb, а потім експортувати текст у свою пошукову систему. Ви можете налаштувати періодичну збірку / публікацію повного індексу досить легко та додати оновлення індексу в реальному часі, якщо відчуваєте потребу та хочете витратити час.

Lucene і Sphinx - хороші варіанти, як і Xapian , який приємний і легкий. Якщо ви їдете по люценовому маршруту, не припускайте, що Clucene краще, навіть якщо ви не хочете боротися з Java, хоча я не дуже кваліфікований для обговорення плюсів і мінусів будь-якого.

Поряд із загальним припиненням роботи MyISAM, InnoDB повнотекстовий пошук (FTS), нарешті, доступний у випуску MySQL 5.6.4.

Багато соковитих деталей на https://dev.mysql.com/doc/refman/5.6/uk/innodb-fulltext-index.html .

Хоча інші двигуни мають багато різних функцій, цей InnoDB, тому він є рідним (а це означає, що є шлях до оновлення), і це робить його корисним варіантом.

Вам слід витратити годину та пройти встановлення та тест-драйв Сфінкса та Люцена. Перевірте, чи відповідає вашим потребам стосовно оновлень даних.

Одна з речей, яка мене розчарувала щодо Сфінкса, - це те, що він не дуже добре підтримує додаткові вставки. Тобто, повторно встановити після вставки дуже дорого, щоб їх рекомендованим рішенням було розділити ваші дані на старі, незмінні рядки та нові, мінливі рядки. Таким чином, для кожного пошуку ваш додаток повинен був би здійснити пошук двічі: один раз за більшим індексом для старих рядків, а також за меншим індексом для останніх рядків. Якщо це не інтегрується з вашими моделями використання, цей Сфінкс не є хорошим рішенням (принаймні, не в його поточній реалізації).

Я хотів би зазначити ще одне можливе рішення, яке ви можете розглянути: Google Custom Search . Якщо ви можете застосувати деякий SEO до свого веб-додатку, відправте на Google функцію індексації та пошуку та вставте на свій сайт текстове поле Google. Це може бути найбільш економічним і масштабованим способом зробити ваш сайт пошуковим.

Можливо, вам не слід так швидко відмовлятися від FT MySQL. Craigslist використовував його .

Швидкість і повний пошук MySQL дозволили Craigslist обслуговувати своїх користувачів .. craigslist використовує MySQL для обслуговування приблизно 50 мільйонів пошукових запитів на місяць зі швидкістю до 60 пошуків в секунду. "

редагувати

Як коментується нижче, Craigslist, здається, перейшов на Сфінкс деякий час на початку 2009 року.

Сфінкс, як ви зазначаєте, цілком приємний для цього матеріалу. Вся робота знаходиться у файлі конфігурації. Переконайтесь, що у вашій таблиці з рядками є якийсь унікальний цілочисельний ідентифікаційний ключ, і вам слід добре.

спробуйте це

ROUND((LENGTH(text) - LENGTH(REPLACE(text, 'serchtext', ''))) / LENGTH('serchtext'),0)!=0

Слід поглянути на Сфінкс. Варто спробувати. Його індексація дуже швидка і вона поширюється. Слід поглянути на цей (http://www.percona.com/webinars/2012-08-22-full-text-search-throwdown) веб-мінус. Він говорить про пошук і має деякі акуратні орієнтири. Вам це може бути корисним.

Якщо все інше не вдається, завжди є soundex_match , який, на жаль, не дуже швидкий

Для тих, хто застряг на старій версії MySQL / MariaDB (тобто користувачів CentOS), де InnoDB не підтримує пошук Fulltext, моє рішення при використанні таблиць InnoDB полягало в створенні окремої таблиці MyISAM для того, що я хотів шукати.

Наприклад, моя основна таблиця InnoDB була productsз різними ключами та референтною цілісністю. Потім я створив просту таблицю MyISAM, яка називається product_searchдвома полями, product_idі product_nameде остання була встановлена ​​в FULLTEXTіндекс. Обидва поля фактично є копією того, що знаходиться в головній productтаблиці.

Потім я шукаю в таблиці MyISAM за допомогою fulltext і роблю внутрішнє з'єднання до таблиці InnoDB.

Вміст таблиці MyISAM можна оновлювати через тригери чи модель програми.

Я б не рекомендував цього, якщо у вас є кілька таблиць, для яких потрібен повний текст, але для однієї таблиці це здається адекватною роботою, поки ви не зможете оновити.