Запитання з тегом «etl»

Я використовую PostgreSQL 9.1 в Ubuntu. Заплановано VACUUM ANALYZEще рекомендуються, або автовакуумінг досить , щоб піклуватися про всіх потребах? Якщо відповідь "це залежить", то: У мене є велика база даних (розмір стисненого дампа розміром 30 Гб, каталог даних 200 ГБ) Я роблю ETL в базу даних, імпортуючи близько 3 мільйонів …

38 postgresql  etl  vacuum 

У рамках нашого процесу ETL ми порівнюємо рядки від постановки до бази даних звітів, щоб з’ясувати, чи змінився якийсь із стовпців з моменту останнього завантаження даних. Порівняння ґрунтується на унікальному ключі таблиці та певному хеші всіх інших стовпців. В даний час ми використовуємо HASHBYTESз SHA2_256алгоритмом і виявили , що він …

29 sql-server  sql-server-2016  etl  sql-clr  hashing 

Питання: У мене є сценарій із близько 45 тис. Вкладишів із вибраних висловлювань. Коли я намагаюся запустити його, я отримую повідомлення про помилку, в якому зазначається, що у мене закінчилося пам’ять. Як я можу запустити цей сценарій для запуску? Контекст: Додано кілька нових полів даних, щоб зробити додаток гарним для …

28 sql-server  sql-server-2005  etl 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб це було темою для адміністраторів баз даних Stack Exchange. Закрито 4 роки тому . Я використовував інтеграцію даних Pentaho ще до того, як Pentaho купив її і назвав так. У мене остання безкоштовна …

26 etl 

Я зрозумів, що моя компанія використовує процес ELT (витяг-завантаження-перетворення) замість використання процесу ETL (витяг-перетворення-завантаження). У чому полягають відмінності двох підходів і в яких ситуаціях один був би "кращим", ніж інший? Було б чудово, якби ви могли навести кілька прикладів.

19 data-warehouse  etl  business-intelligence 

Ми робимо процес ETL. Коли все сказано і зроблено, існує маса таблиць, які повинні бути однаковими. Який найшвидший спосіб підтвердити, що ці таблиці (на двох різних серверах) насправді однакові. Я кажу і про схему, і за даними. Чи можу я зробити хеш на столі, це так, як я міг би …

13 sql-server  sql-server-2008-r2  etl  except 

Виходячи з мого аналізу, повна мірна модель для нашого сховища даних вимагатиме вилучення з понад 200 таблиць-джерел. Деякі з цих таблиць будуть витягнуті як частина додаткового навантаження, а інші - повне навантаження. Зауважимо, у нас є близько 225 джерел баз даних, всі з тією ж схемою. З того, що я …

12 sql-server  sql-server-2005  ssis  data-warehouse  etl 

Я зовсім новачок у PostgreSQL, я ніколи не робив великого розгортання, використовуючи його раніше. Але я маю хороший досвід у вирішенні корпоративних рішень і хочу спробувати застосувати частину того, що я навчився за допомогою PostgreSQL. У мене є розмір сайту для обробки великої кількості даних та трафіку. Інфраструктура буде побудована …

11 postgresql  data-warehouse  etl 

На даний момент я створюю ETL для нашого сховища даних. Ми використовуємо SSIS 2008, але ми стикаємося з проблемами, найбільшою з яких є складність у повторному використанні компонентів. У нас є окремі пакети для кожної таблиці, і кожен пакунок бере як вхід ряд змінних з батьківського пакету. Коли ми вносимо …

10 sql-server  etl