Найкращий спосіб документувати відображення баз даних для міграцій [закрито]

Я працюю над проектом, який включає в себе елементи відображення бази даних для міграції, і мені хотілося знати, які інструменти використовують для цього інші?

Excel - це дуже гнучкий спосіб документування простих відображень, але мені було цікаво, чи хтось має певну методологію, яку вони дотримуються, або інші інструменти, які вони використовують, які вони могли б рекомендувати?

Найпоширеніший спосіб зробити це в Excel, але він має компроміси:

• Дуже важко оновити електронну таблицю, якщо будь-яка сторона міграції зміниться (через щось пропущено, щось зміниться тощо)
• Excel важче використовувати людям, застосовуючи правила, зафіксовані в ньому.
• Відстеження змін майже неможливо, якщо в документі співпрацюють кілька людей.

Я вважаю за краще використовувати функції рядкових даних інструментів моделювання даних, таких як ER / Studio, ERwin або PowerDesigner для відстеження перетворень, необхідних для міграції з одного сховища даних в інший. Я отримую всі переваги RE і порівнюю з джерелом та ціллю, плюс жодне з згаданих вище компромісів. Це дійсно має значення.

Якщо ви намагаєтесь документувати відображення даних, то електронна таблиця, мабуть, є найпростішим підходом, хоча це не чудово для нічого, крім відображення 1: 1. Кілька підходів:

Excel: Ви можете використовувати електронну таблицю для відображень, особливо там, де вони прості. Якщо ваші бази даних не є ізоморфними (тобто вони не мають 1: 1 відображення для всіх полів, які вас цікавлять), то документування відображення може бути трохи складнішим. Якщо відмінності незначні, ви все одно можете задокументувати це в електронній таблиці, додавши примітки до полів, де відображення складніше.

Інструмент CASE із власною мета-моделлю Рік чи два тому я створив розширену мета-модель та деякі пов'язані з ними сценарії для Sparx Enterprise Architect. Це дозволило мені створити схематичні подання відображень, і це було деякі примітиви моделювання, які дозволяли документувати перетворення.

Зауважте, що для цього потрібно небагато програмування - і деякий час переглядає COM-API, представлений EA, і, можливо, модель репозиторію. Однак це не все непрозоро - набагато простіше, ніж модель репозиторію в (наприклад) Oracle Designer.

Якщо у вас дійсно складна робота з міграції даних, ви можете писати сценарії, які запитують модель, щоб переконатися (наприклад,), що у вас немає жодних неописаних елементів. Генератор звітів репозиторію також є досить гнучким у тому, що ви можете включити у звіт - у мене не було занадто багато проблем із отриманням налаштованих звітів із нього, які зробили більшу частину того, що я хотів. Ви також можете записати речі, які витягують дані з моделі та скидають їх у (наприклад) електронну таблицю.

Діаграми, включаючи власні елементи моделі (EA має функцію форми та визначення з'єднувача), також можна зробити для графічного огляду специфікації міграції.

Цінність цього підходу полягає в тому, що ви можете автоматизувати деякі елементи управління міграційними документами та підтвердити, що ви маєте повне висвітлення всього необхідного. Наприклад, ви також можете включити посилання на вимоги до даних у модель репозиторію та використовувати спеціально позначені посилання між ними та вихідними або цільовими моделями даних.

Інструменти ETL: Якщо у вас є доступ до одного з найкращих інструментів ETL, наприклад, Informatica Powercentre, ви можете налаштувати відображення там. Деякі інструменти ETL досить самодокументовані, і ви також можете використовувати цей інструмент для міграції. SSIS зробить картування, але це не самодокументування таким чином.

Те, що вам дуже потрібно, - це інструмент CASE з створеною мета-моделлю для відображення алеад. На жаль, я не знаю такого продукту.

Я б запропонував використовувати SQL Power Doc від kendalvandyke. Це найкращий безкоштовний інструмент, який робить досить пристойну документацію на SQL Server та Windows за допомогою Windows PowerShell. ІТ доступний у кодеплексі.

SQL Power Doc - це сукупність скриптів і модулів Windows PowerShell, які виявляють, документують та діагностують екземпляри SQL Server та їх основні конфігурації ОС Windows та машини. SQL Power Doc працює з усіма версіями SQL Server від SQL Server 2000 до 2012 року, а всі версії Windows Server та споживчих операційних систем Windows з Windows 2000 та Windows XP через Windows Server 2012 та Windows 8. SQL Power Doc також може документувати документи Бази даних SQL Windows Azure.

Я мав успіх у використанні SQL Doc Red Gate . Це просто в налаштуванні і дає гарну документацію. Однак якщо ви шукаєте щось із графічним поданням таблиць та представлень та їх співвідношенням, я не можу вам там допомогти.

На мій досвід, жодна з готових програм, які я спробував, не дає достатньо корисної інформації. Як я це бачу, ми моделюємо та зберігаємо інформацію про майже все цінне на підприємстві. Чи самі дані мають меншу цінність, ніж інші активи підприємства? Тоді чому б ми не документуємо наші дані, а також документуємо інші активи? "Репозиторій метаданих" не описує точно те, що потрібно насправді, оскільки він малює групу визначень та структур, які "сидять там", в основному невикористані, що не повинно бути так. "Застосування метаданих" - набагато кращий термін.

Я б моделював ваші метадані так, як ви моделюєте інші дані: подумайте, як ви хочете їх використовувати, створіть модель даних метаданих або "мета-модель", створіть аналогічні структури схем, заповнюйте таблиці, використовуйте дані. Тоді ви зможете не лише задокументувати свої метадані, але й зможете проаналізувати їх, виявити проблеми та навіть зробити прогнозування.

З мого особистого досвіду роботи з гігантською організацією охорони здоров’я, де дані про багатьох платників та постачальників надходять із багатьох джерел, і це справді стає завданням документувати та відображати їх за допомогою електронної таблиці Excel. Нам рекомендовано зробити POC нашим директором із менеджера картографічного аналізу AnalytiX (www.analytixds.com)кого він зустрів на конференції. Ми використовували випадки використання в реальному часі, і результати були надзвичайними. Рішення - це 100% метадані, доступні через веб-браузер. Ми використовували його на рівні підприємства. Він сканує та впорядковує метадані з широкого спектру баз даних, моделей даних, плоских файлів та неструктурованих даних та виявляє залежність у верхній і нижній частині течії за допомогою аналізу впливу та лінії передачі даних. Графічний інтерфейс є зручним для користувача завдяки простому користувальницькому інтерфейсу Drag / Drop для створення специфікацій відображення. Ми не тільки будуємо картографування та документування, але також автоматично створюємо завдання ETL для інструментів Informatica та SSIS ETL, що використовуються всередині країни. Ви можете легко імпортувати застарілі електронні таблиці та застосовувати стандарти картографування за допомогою вбудованих шаблонів відображення, що настроюються, та мати повний контроль версій.