"Ніколи не роби в коді те, що ти можеш змусити SQL-сервер зробити добре для тебе" - Це рецепт поганого дизайну?

Це ідея, яку я чула повторюватися в декількох місцях. Деякі більш-менш визнання того, що намагаючись вирішити проблему виключно в SQL, перевищує певний рівень складності, ви дійсно повинні керувати нею в коді.

Логіка ідеї полягає в тому, що для більшості випадків двигун бази даних зробить кращу роботу в пошуку найбільш ефективного способу виконання вашого завдання, ніж ви могли в коді. Особливо, якщо мова йде про речі, такі як обумовлення результатів обумовленими операціями над даними. Можливо, сучасні двигуни ефективно JIT'ing + кешують складену версію запиту, це має сенс на поверхні.

Питання полягає в тому, чи не використовувати таким чином механізм роботи вашої бази даних по суті погану практику проектування (і чому). Рядки далі розмиваються, коли вся логіка існує всередині бази даних, і ви просто натискаєте її через ORM.

Словами мирянина:

Це те, для чого створено SQL, і, вірите чи ні, я бачив, що робилося в коді:

• приєднується - кодуйте, це потребує складних маніпуляцій з масивом
• фільтрація даних (де) - кодируйте, що вона потребує великого вставлення та видалення елементів у списках
• вибираючи стовпці - кодуйте, це потребує важких маніпуляцій зі списком або масивом
• сукупні функції - кодируйте, що знадобляться масиви для вмісту значень і складних випадків комутації
• цілісність зовнішнього ключа - кодируйте, що для його введення потрібні запити, і ніхто не використовуватиме дані за межами програми
• цілісність основного ключа - кодируйте, що для його внесення потрібні запити, і ніхто не буде використовувати дані поза додатком

Якщо робити ці речі замість того, щоб покладатися на SQL або RDBMS, це призводить до написання тонн коду без додаткової вартості , тобто більше коду для налагодження та підтримки. І небезпечно припускати, що до бази даних буде доступний лише через додаток.

Я б перефразував це на "Ніколи не роби в коді те, що SQL Server може зробити для тебе добре ".

Такі речі, як маніпуляція з рядками, робота з регулярними виразками і таке, чого я б не робив у SQL Server (заборона SQL CLR).

Вищезгадане зазвичай говорить про такі речі, як - приєднання, встановлення операцій та запитів. Завданням цього є делегувати більшу частину важкого підйому на SQL Server (якщо це добре) і максимально зменшити кількість IO (тому нехай SQL виконує приєднання і фільтрує WHEREзастереження, повертаючи багато менший набір даних, ніж інакше).

Ніколи не роби в коді те, що ти можеш змусити SQL-сервер робити добре для тебе (акцент мій)

Ключ до відповіді - вам потрібно шукати, як SQL робить щось добре, на відміну від того, щоб просто щось робити для вас. SQL - надзвичайно потужна мова. У поєднанні з вбудованими функціями він потенційно може робити багато речей. Однак той факт, що ви можете зробити щось у SQL, не повинен бути приводом для того, щоб насправді зробити це в SQL.

Мої конкретні критерії для прийняття рішення - дивитись на кількість отриманих даних та кількість туди-назад: якщо ви можете скоротити кількість даних, доставляючи завдання на сервер, не збільшуючи кількість туристів, поїздки, тоді завдання належить серверу; якщо кількість даних залишається однаковою або збільшується без одночасного зменшення кількості туди-назад, завдання належить до вашого коду.

Розглянемо наступні приклади:

• Ви зберігаєте дату народження, і вам потрібно обчислити вік для групи користувачів. Ви можете змусити SQL-сервер робити віднімання, або ви можете зробити це у своєму коді. Кількість зворотних поїздок залишається однаковою, а кількість даних, що надсилаються вам, збільшується. Тому рішення на основі коду виграє
• Ви зберігаєте дату народження, і вам потрібно знайти користувачів віком від 20 до 30 років. Ви можете завантажити всіх клієнтів назад на клієнта, зробити віднімання, щоб знайти вік, а потім виконати фільтрацію, але доставку логіки до SQL Server зменшив би кількість даних, не вимагаючи додаткових об’їзних поїздок; тому рішення на основі SQL виграють.

Коротше кажучи , було б правильно сказати, що: "Ніколи не виконуйте конкретних операцій з базою даних у вашій кодовій базі", оскільки вони краще вирішуються у вашій базі даних.

Подивіться приклад встановлених базових операцій . Як ви, можливо, знаєте, що RDBMS створені для обробки звичайних операцій зберігання та маніпулювання даними.

Крім того, важлива роль відіграє вибір проекту бази даних . Наявність RDBMS (MS SQL, Oracle тощо) відрізняється від баз даних NoSQL, як RavenDB.

Як правило, у вашій БД є більше інформації для роботи, ніж у вашій програмі, і вони можуть робити звичайні операції з даними ефективніше. Наприклад, у вашій базі даних зберігаються індекси, тоді як у вашій програмі потрібно буде індексувати результати пошуку. Отже, при рівності, загальну навантаження можна зменшити, натиснувши роботу на базу даних, а не на додаток.

Але у міру масштабування вашого продукту, як правило, стає легше масштабувати додаток, ніж масштабувати db. У великих установах не рідкість бачити, що сервери додатків перевищують кількість серверів баз даних в 10–1 і більше. Додавання більшої кількості серверів додатків часто є простим питанням клонування існуючого сервера на нове обладнання. Додавання нових серверів баз даних, з іншого боку, у більшості випадків значно складніше.

Тож у цей момент мантра стає захищеною базою даних . Виявляється, кешуючи базу даних результатами memcachedабо встановлюючи чергування оновлень у журналі додатків, або одноразово отримуючи дані та обчислюючи статистику у вашому додатку, ви зможете значно зменшити навантаження вашої бази даних, врятувавши вас від необхідності вдаватися до ще більш складна і крихка конфігурація кластера БД.

Я думаю, було б поганим дизайном не використовувати базу даних для речей, для яких вона призначена. Я ніколи не бачив жодної бази даних, де правила застосовувалися б поза базою даних, яка мала б хороші дані. І я переглянув сотні баз даних.

Отже, речі, які необхідно зробити в базі даних:

• Аудит (лише аудит додатків не буде відслідковувати всі зміни в базі даних і, таким чином, марний).

• Обмеження негідності даних, включаючи значення за замовчуванням, обмеження іноземних ключів та правила, які завжди повинні застосовуватися до всіх даних. Всі дані не завжди змінюються або вставляються через додаток, є одноразові виправлення даних, особливо великі набори даних, які не практично робити один раз за один раз (будь ласка, оновіть ці 100 000 записів, які отримали неправильне позначення як статус 1, коли вони повинні бути 2 через помилку коду програми або оновіть усі записи від клієнта A до клієнта B, оскільки компанія B придбала компанію A) та імпорт даних та інші програми, які можуть торкатися тієї самої бази даних.

• ПРИЄДНАЄТЬСЯ та де фільтрує застереження (щоб зменшити кількість записів, надісланих по мережі)

"Передчасна оптимізація - корінь усього зла (більшість із нього, все одно) в комп'ютерному програмуванні" - Дональд Кнут

База даних саме така; рівень даних вашої програми. Його завдання полягає в наданні вашій програмі запитуваних даних та зберіганні наданих їй даних. У вашій програмі є місце для введення коду, який фактично працює з даними; її відображення, перевірку та ін.

Незважаючи на те, що настрої в заголовковому рядку є захоплюючими і точними до точного (суцільна зернистість фільтрування, проектування, групування тощо повинна в переважній кількості випадків залишатися в БД), визначення "добре" може бути в замовлення. Завдань, які SQL Server може виконувати з високим рівнем продуктивності, безліч, але завдання, які ви можете продемонструватищо SQL Server робить правильно ізольованим, повторюваним чином, дуже мало. SQL Management Studio - це чудова IDE бази даних (особливо враховуючи інші параметри, з якими я працював, як TOAD), але вона має свої обмеження, спочатку серед них є те, що ви майже все використовуєте для цього (або будь-який процедурний код, який ви виконуєте в БД внизу) за визначенням є "побічним ефектом" (зміна стану, що лежить поза домену простору пам'яті вашого процесу). Крім того, процедурний код у SQL Server лише зараз, за ​​допомогою останніх IDE та інструментів, можна виміряти способом керованого коду, використовуючи метрику покриття та аналіз шляхів (так що ви можете продемонструвати, що це конкретно, якщо з твердженням зустрічаються тести X , Y і Z, і тест X призначений для того, щоб виправдати умову і виконати цю половину, тоді як Y і Z виконують "else" . Це, у свою чергу, передбачає, що у вас є тест, який може встановити базу даних у певному стартовому стані, виконати процедурний код бази даних за допомогою певних дій та стверджувати очікувані результати.

Все це набагато складніше та задіяне, ніж рішення, яке надає більшість шарів доступу до даних; припустимо, що рівень даних (і, з цього приводу, DAL) знає, як виконати свою роботу, коли вводиться правильний ввід, а потім перевірити, чи ваш код забезпечує правильне введення. Зберігаючи процедурний код, наприклад, SP та тригери поза БД і замість цього виконуючи такі типи речей у коді програми, зазначений код програми набагато простіше здійснити.

Одне з речей, які, здається, не усвідомлюють, - це те, що виконувати всю обробку на SQL-сервері не обов'язково добре, незалежно від впливу на якість коду.

Наприклад, якщо вам потрібно захопити деякі дані, а потім обчислити щось із даних, а потім зберегти ці дані в базі даних. Є два варіанти:

• Візьміть дані у свою програму, обчисліть усередині програми та відправте дані назад у базу даних
• Створіть збережену процедуру або подібне, щоб захопити дані, обчислити їх, а потім зберегти все з одного виклику на SQL-сервер.

Ви можете подумати, що друге рішення завжди найшвидше, але це точно не відповідає дійсності. Я ігнорую, навіть якщо SQL погано підходить для проблеми (наприклад, маніпуляції з регулярними виразами та рядками). Давайте зробимо вигляд, що у вас є SQL CLR або щось подібне, що має навіть потужну мову в базі даних. Якщо потрібно здійснити зворотну поїздку, отримати дані та 1 секунду для їх зберігання, а потім 10 секунд, щоб зробити обчислення через неї. Ви робите це неправильно, якщо робите це все в базі даних.

Звичайно, ви збриєте 2 секунди. Однак, ви швидше витрачали 100% (принаймні) одного ядра процесора на сервері бази даних протягом 10 секунд, або ви швидше витрачали цей час на своєму веб-сервері?

Веб-сервери легко масштабувати, бази даних з іншого боку - надзвичайно дорогі, особливо бази даних SQL. Здебільшого веб-сервери також є "без стану", і їх можна додавати та видаляти за примхою, без додаткової конфігурації до нічого, крім балансира навантаження.

Отже, думайте не лише про гоління 2 секунди від операції, а й подумайте про масштабованість. Навіщо витрачати такий дорогий ресурс, як ресурси сервера баз даних, коли ви можете використовувати набагато дешевші ресурси веб-сервера з відносно невеликим впливом на продуктивність

Мені подобається дивитися на це, оскільки SQL повинен мати справу лише з самими даними. Правила бізнесу, які визначають, як може виглядати запит, можуть траплятися в коді. Регекс або валідація інформатону слід робити в коді. SQL слід залишити просто приєднатися до вашої таблиці, запитувати свої дані, вставляти чисті дані тощо.

Що передається в SQL, повинно бути чистими даними, і SQL насправді не повинен знати нічого більше, ніж потрібно для його зберігання, оновлення, видалення або отримання чогось іншого. Я бачив, як занадто багато розробників хочуть кинути свою бізнес-логіку та кодування в SQL, оскільки вони вважають ці дані своїм бізнесом. Від'єднайте свою логіку від своїх даних, і ви побачите, що ваш код стає чистішим та простішим в управлінні.

Тільки мої 0,02 долара, хоча.

Як правило, я погоджуюся, що код повинен керувати бізнес-логікою, а БД повинен бути хешем без логіки. Але ось декілька зустрічних моментів:

Первинний, зовнішній ключ та необхідні (не нульові) обмеження можуть бути виконані кодом. Обмеження - це бізнес-логіка. Чи повинні вони залишатися поза базою даних, оскільки вони дублюють, що може зробити код?

Чи торкаються до бази даних інші сторони поза вашим контролем? Якщо так, примусово застосовувати обмеження поблизу даних. Доступ може бути обмежений веб-сервісом, який реалізує логіку, але це передбачає, що ви там були "першими" і маєте право застосовувати послугу з боку інших сторін.

Чи виконує ваш ORM окремий вставку / оновлення для кожного об’єкта? Якщо так, то у вас буде серйозні проблеми з продуктивністю при пакетній обробці великих наборів даних. Встановити операції - це шлях. ORM матиме проблеми з точним моделюванням усіх можливих об'єднаних наборів, над якими можна було виконувати операції.

Чи вважаєте ви "шар" фізичним розщепленням серверів або логічним розщепленням? Запуск логіки на будь-якому сервері теоретично все ще може підпадати під логічний рівень. Ви можете організувати розділення, компілюючи в різні DLL, а не розбиваючи виключно сервери. Це може різко збільшити час реагування (але принести шкоду жертвам), зберігаючи при цьому проблеми. Розділена DLL пізніше може бути перенесена на інші сервери без нової збірки для збільшення пропускної здатності (за рахунок часу відгуку).

Ідіома пов'язана більше з дотриманням правил бізнесу, пов'язаними з даними, разом із відносинами (даними, структурою та відносинами.) Це не єдине вікно для кожної проблеми, але це допомагає уникати таких речей, як вручну підтримуються лічильники записів, цілісність стосунків, що підтримуються вручну тощо, якщо такі речі доступні на рівні бази даних. Отже, якщо хтось інший приходить і розширює програми або записує іншу програму, яка взаємодіє з базою даних, їм не доведеться з'ясовувати, як підтримувати цілісність бази даних від попереднього коду. Випадок вручну підтримуваного лічильника записів особливо актуальний, коли хтось інший хоче створити нову програму для взаємодії з тією ж базою даних. Навіть якщо новостворена програма має точно потрібний код для лічильника, оригінальна програма та нова, що працює приблизно в один і той же час, ймовірно, її пошкодять. Існує навіть код, який витягує записи та перевіряє умови перед тим, як писати нову або оновлену запис (у коді чи як окремі запити), коли це можливо, це часто можна досягти прямо у викладі вставлення чи оновлення. Знову може призвести корупція даних. Двигун бази даних гарантує атомність; оновлення або вставка запиту з умовами гарантовано впливатиме лише на записи, що відповідають умовам, і жоден зовнішній запит не може змінити дані на півдорозі через наше оновлення. Існує багато інших обставин, коли застосовується код, коли двигун бази даних буде краще працювати. Вся справа в цілісності даних, а не в продуктивності. s навіть код там, який витягує записи та перевіряє умови перед тим, як писати нову або оновлену запис (у коді або як окремі запити), коли це можливо, це часто можна досягти прямо в операторі вставки або оновлення. Знову може призвести корупція даних. Двигун бази даних гарантує атомність; оновлення або вставка запиту з умовами гарантовано впливатиме лише на записи, що відповідають умовам, і жоден зовнішній запит не може змінити дані на півдорозі через наше оновлення. Існує багато інших обставин, коли застосовується код, коли двигун бази даних буде краще працювати. Вся справа в цілісності даних, а не в продуктивності. s навіть код там, який витягує записи та перевіряє умови перед тим, як писати нову або оновлену запис (у коді або як окремі запити), коли це можливо, це часто можна досягти прямо в операторі вставки або оновлення. Знову може призвести корупція даних. Двигун бази даних гарантує атомність; оновлення або вставка запиту з умовами гарантовано впливатиме лише на записи, що відповідають умовам, і жоден зовнішній запит не може змінити дані на півдорозі через наше оновлення. Існує багато інших обставин, коли застосовується код, коли двигун бази даних буде краще працювати. Вся справа в цілісності даних, а не в продуктивності. Двигун бази даних гарантує атомність; оновлення або вставка запиту з умовами гарантовано впливатиме лише на записи, що відповідають умовам, і жоден зовнішній запит не може змінити дані на півдорозі через наше оновлення. Існує багато інших обставин, коли застосовується код, коли двигун бази даних буде краще працювати. Вся справа в цілісності даних, а не в продуктивності. Двигун бази даних гарантує атомність; оновлення або вставка запиту з умовами гарантовано впливатиме лише на записи, що відповідають умовам, і жоден зовнішній запит не може змінити дані на півдорозі через наше оновлення. Існує багато інших обставин, коли застосовується код, коли двигун бази даних буде краще працювати. Вся справа в цілісності даних, а не в продуктивності.

Тож це насправді хороша дизайнерська ідіома або правило. Жодна кількість продуктивності не допоможе в системі з пошкодженими даними.

Як вже згадувалося раніше, мета полягає в тому, щоб відправляти та отримувати якнайменше з бази даних, оскільки туди і назад дуже дорого. Повторне надсилання відправлень SQL-статей - це марна трата часу, особливо на складніші запити.

Використання збережених процедур у базі даних дозволяє розробникам взаємодіяти з базою даних як API, не турбуючись про складну схему на звороті. Це також зменшує дані, що надсилаються на сервер, оскільки надсилаються лише ім'я та кілька параметрів. У цьому випадку більша частина логіки бізнесу все ще може бути в коді, але не у формі SQL. Код, по суті, готує те, що потрібно надіслати або запитати з бази даних.

Слід пам’ятати кілька речей:

• Реляційна база даних повинна забезпечувати референтну цілісність через зовнішні ключі
• Масштабування однієї бази даних може бути важким і дорогим. Масштабування веб-сервера набагато простіше, просто додавши більше веб-серверів. Приємно намагаються додати більше потужності SQL-сервера.
• За допомогою C # і LINQ ви можете робити свої "приєднання" і багато чого за допомогою коду, так що ви в багатьох випадках отримуєте найкраще з обох світів.

"Передчасна оптимізація - корінь усього зла" - Дональд Кнут

Використовуйте найбільш підходящий для роботи інструмент. Для цілісності даних це часто база даних. Для передових бізнес-правил - це така система, заснована на правилах, як JBoss Drools. Для візуалізації даних це буде рамкою звітності. тощо.

Якщо у вас виникли якісь проблеми з продуктивністю, то слід дізнатися, чи можна кешувати будь-які дані, чи реалізація в базі даних буде швидшою. Загалом, вартість придбання додаткових серверів або додаткової хмарної енергії буде значно нижчою, ніж додаткові витрати на обслуговування та вплив зайвих помилок.