NoSQL (MongoDB) проти люцена (або Solr) як вашої бази даних

Зростання руху NoSQL на основі баз даних, що базуються на документах, я останнім часом переглядав MongoDB. Я помітив вражаючу схожість з поводженням з предметами як з "Документами", як і Люцен (і з користувачами Solr).

Отже, питання: чому ви хочете використовувати NoSQL (MongoDB, Cassandra, CouchDB тощо) над Lucene (або Solr) в якості "бази даних"?

Те, що я шукаю (і я впевнений, що інші) шукаю у відповідь, - це деякі глибокі порівняння їх. Давайте разом пропустимо обговорення реляційних баз даних, оскільки вони служать іншій меті.

Люцен дає деякі серйозні переваги, такі як потужні системи пошуку та ваги. Не кажучи вже про грані в Солрі (який Солр незабаром інтегрується в Люцен, так!). Ви можете використовувати документи Lucene для зберігання ідентифікаторів та доступу до таких документів, як MongoDB. Змішайте його з Solr, і тепер ви отримаєте рішення, засноване на WebService, збалансованому завантаженні.

Ви навіть можете зіставити порівняння постачальників кеш-пам'яті, що не випускаються, наприклад, Velocity або MemCched, якщо говорити про схоже зберігання даних та масштабованість MongoDB.

Обмеження навколо MongoDB нагадує мені використовувати MemCched, але я можу використовувати швидкість Microsoft і мати більше можливостей групування та списку над MongoDB (я думаю). Неможливо отримати швидше або масштабувати, ніж кешування даних у пам'яті. Навіть у Lucene є постачальник пам'яті.

У MongoDB (та інших) є деякі переваги, такі як простота використання їх API. Створіть документ, створіть ідентифікатор та зберігайте його. Зроблено. Приємно і легко.

Це чудове запитання, над чим я досить багато розмірковував. Я підсумую отримані уроки:

1. Ви можете легко використовувати Lucene / Solr замість MongoDB для майже всіх ситуацій, але не навпаки. Повідомлення Гранта Інгерсолла резюмує тут.

2. MongoDB тощо слугує цілі, коли немає потреби в пошуку та / або облицюванні. Схоже, це простіший і, можливо, простіший перехід для програмістів, що детоксикують із світу RDBMS. Якщо хтось до цього не звик, Lucene & Solr мають більш круту криву навчання.

3. Існує не так багато прикладів використання Lucene / Solr як сховища даних, але Guardian просунувся і підсумував це у чудовій слайд-колоді , але вони теж не займаються повним стрибком на пробійці Solr і "досліджуванням" поєднання Solr з CouchDB.

4. Нарешті, я запропоную наш досвід, на жаль, не можу розкрити багато про бізнес. Ми працюємо в масштабі кількох ТБ даних, майже в реальному часі. Дослідивши різні комбінації, вирішив дотримуватися Солра. Поки що не шкодує (6 місяців і підрахунок) і не бачимо причин переходити на якісь інші.

Підсумок: якщо у вас немає вимоги до пошуку, Mongo пропонує простий та потужний підхід. Однак якщо пошук є ключовим для вашої пропозиції, вам, ймовірно, краще дотримуватися однієї техніки (Solr / Lucene) та оптимізувати чорт із неї - меншу кількість рухомих деталей.

Мої 2 копійки, сподіваюсь, що допомогло.

Ви не можете частково оновити документ у solr. Щоб оновити документ, потрібно повторно опублікувати всі поля.

І продуктивність має значення. Якщо ви не приймаєте на себе зобов'язання, ваша зміна solr не набирає чинності, якщо ви здійснюєте щоразу, продуктивність страждає.

У solr немає транзакції.

Оскільки Solr має ці недоліки, іноді nosql є кращим вибором.

Ми використовуємо MongoDB і Solr разом, і вони добре працюють. Ви можете знайти мій пост у блозі тут, де я описав, як ми разом використовуємо ці технології. Ось уривок:

[...] Однак ми спостерігаємо, що ефективність запиту Solr зменшується при збільшенні розміру індексу. Ми зрозуміли, що найкраще рішення - використовувати і Solr, і Mongo DB разом. Потім ми інтегруємо Solr з MongoDB, зберігаючи вміст у MongoDB та створюючи індекс за допомогою Solr для повнотекстового пошуку. Ми зберігаємо унікальний ідентифікатор кожного документа в індексі Solr і отримуємо фактичний вміст з MongoDB після пошуку в Solr. Отримання документів з MongoDB швидше, ніж Solr, оскільки немає аналізаторів, підрахунків тощо. [...]

Також зверніть увагу, що деякі люди інтегрували Solr / Lucene в Монго, маючи всі індекси, що зберігаються в Solr, а також здійснюють моніторинг операцій oplog та каскадування відповідних оновлень у Solr.

Завдяки цьому гібридному підходу ви дійсно можете мати найкращі з обох світів з такими можливостями, як пошук повнотекстового тексту та швидке зчитування з надійним сховищем даних, яке також може мати високу швидкість запису.

Це трохи технічно для налаштування, але є багато оплогів, які можуть інтегруватися в solr. Ознайомтеся з діапазоном діапазону в цій статті

http://denormalised.com/home/mongodb-pub-sub-using-the-replication-oplog.html

З мого досвіду роботи з обома, Монго чудово підходить для простого та прямого використання. Основним недоліком Монго, який ми зазнали, є низька ефективність непередбачуваних запитів (ви не можете створити індекси монго для всіх можливих комбінацій фільтрів / сортування, ви просто не можете).

І тут, де Lucene / Solr переважає великий час, особливо при кешуванні FilterQuery, продуктивність видатна.

Оскільки ніхто більше не згадував про це, дозвольте додати, що MongoDB не має схеми, тоді як Solr застосовує схему. Отже, якщо поля ваших документів, ймовірно, зміниться, це одна причина для вибору MongoDB над Solr.

@ mauricio-scheffer згадав Solr 4 - для тих, хто зацікавлений у цьому, LucidWorks описує Solr 4 як "сервер пошуку NoSQL", а на http://www.lucidworks.com/webinar-solr-4-the-nosql є відео -search-сервер /, де вони детально описують функції NoSQL (ish). (The -ish - це версія їхньої схеми, яка фактично є динамічною схемою.)

Якщо ви просто хочете зберігати дані у форматі "ключ-значення", Lucene не рекомендується, оскільки його перевернутий індекс витратить занадто багато місця на диску. А при збереженні даних на диску його продуктивність відбувається набагато повільніше, ніж бази даних NoSQL, такі як redis, оскільки redis зберігає дані в оперативній пам'яті. Найбільш перевагою для Lucene є те, що він підтримує більшість запитів, тому нечіткі запити можуть бути підтримані.

Рішення сторонніх організацій, як монговий хвостовик, є привабливими. Залишаються деякі думки чи запитання щодо того, чи можна рішуче інтегрувати рішення, передбачаючи перспективи розвитку / архітектури. Я не сподіваюсь на те, що з кількох причин знайдуть тісно інтегроване рішення щодо цих особливостей (дещо спекулятивне та підлягає роз'ясненню та не в курсі зусиль із розвитку):

• mongo є c ++, lucene / solr - java
  • може бути, люсень міг би використати кілька монгових губ
  • можливо, Монго міг би переписати деякі алгоритми люцена, див. також:
    • http://clucene.sourceforge.net/
    • http://lucy.apache.org/
• люцен підтримує різні формати doc
  • Монго орієнтований на JSON (BSON)
• люцен використовує незмінні документи
  • оновлення одного поля - це проблема, якщо вони доступні
• люценові індекси незмінні зі складними операціями злиття
• mongo запити - це JavaScript
• mongo не має аналізаторів тексту / токенізаторів (AFAIK)
• розміри mongo doc обмежені, що може суперечити зерну за люцен
• монгові агрегати можуть не мати місця в люцені
  • у люцена є варіанти зберігання полів у документах, але це не те саме
  • solr якось забезпечує агрегацію / статистику та SQL / графічні запити

У MongoDB Atlas незабаром з’явиться пошукова система на основі люцена. Велике оголошення було зроблено на тижневій конференції MongoDB World 2019. Це прекрасний спосіб заохотити більше використовувати їх високий дохід продукт MongoDB Atlas.

Я сподівався побачити, що він згорнувся у версію 4.2 MongoDB Enterprise, але не було новин про те, що він буде переведений на нову лінійку продуктів.

Більше інформації тут: https://www.mongodb.com/atlas/full-text-search