Хто-небудь може сказати мені різницю між зовнішньою та внутрішньою таблицями Hive. Я знаю, що різниця виникає при опусканні столу. Я не розумію, що ви маєте на увазі під тим, що дані та метадані видаляються у внутрішніх, а лише метадані видаляються у зовнішніх таблицях. Хто-небудь може мені пояснити з точки зору вузлів.
Відповіді:
Hive має реляційну базу даних на головному вузлі, яку він використовує для відстеження стану. Наприклад, коли ви CREATE TABLE FOO(foo string) LOCATION 'hdfs://tmp/';, ця схема таблиці зберігається в базі даних.
Якщо у вас є розділена таблиця, розділи зберігаються в базі даних (це дозволяє вулику використовувати списки розділів без відвідування файлової системи та їх пошуку тощо). Такі речі - це "метадані".
Коли ви опускаєте внутрішню таблицю, вона скидає дані, а також метадані.
Коли ви скидаєте зовнішню таблицю, вона скидає лише метадані. Це означає, що вулик зараз не знає цих даних. Це не торкається самих даних.
Таблиці вуликів можуть бути створені як ЗОВНІШНІ або ВНУТРІШНІ. Це вибір, який впливає на завантаження, контроль та управління даними.
Використовуйте зовнішні таблиці, коли:
Використовуйте внутрішні таблиці, коли:
Дані є тимчасовими.
Ви хочете, щоб Hive повністю керував життєвим циклом таблиці та даними.
Для зовнішніх таблиць Hive зберігає дані у LOCATION, зазначених під час створення таблиці (як правило, не у каталозі складів). Якщо зовнішня таблиця випадає, метадані таблиці видаляються, але не дані.
Для внутрішніх таблиць Hive зберігає дані у своєму каталозі складів. Якщо таблиця випадає, і метадані таблиці, і дані будуть видалені.
Різниця між внутрішніми та зовнішніми таблицями:
Для зовнішніх таблиць -
Зовнішня таблиця зберігає файли на сервері HDFS, але таблиці не пов'язані з вихідним файлом повністю.
Якщо ви видалите зовнішню таблицю, файл все ще залишається на сервері HDFS.
Наприклад, якщо ви створите зовнішню таблицю під назвою «table_test» в HIVE за допомогою HIVE-QL і зв’яжете таблицю з файлом «файл» , видалення «table_test» з HIVE не видалить «файл» з HDFS .
Файли зовнішніх таблиць доступні всім, хто має доступ до структури файлів HDFS, і тому безпекою потрібно керувати на рівні файлів / папок HDFS.
Метадані підтримуються на головному вузлі, а видалення зовнішньої таблиці з HIVE видаляє лише метадані, а не дані / файл.
Для внутрішніх таблиць-
- Зберігається в каталозі на основі налаштувань у
hive.metastore.warehouse.dir, внутрішні таблиці за замовчуванням зберігаються в наступній папці «/ користувач / вулик / склад», ви можете змінити його, оновивши розташування в конфігураційному файлі.- Видалення таблиці видаляє метадані та дані відповідно з головного вузла та HDFS.
- Захист внутрішніх файлів таблиці контролюється виключно через HIVE. Безпекою потрібно керувати в HIVE, ймовірно, на рівні схеми (залежить від організації).
У вулику можуть бути внутрішні чи зовнішні таблиці. Це вибір, який впливає на завантаження, контроль та управління даними.
Використовуйте зовнішні таблиці, коли:
Використовуйте внутрішні таблиці, коли:
Джерело:
Дані внутрішньої таблиці зберігаються у папці складу, тоді як дані зовнішньої таблиці зберігаються у тому місці, яке ви згадали у створенні таблиці.
Отже, коли ви видаляєте внутрішню таблицю, вона видаляє схему, а також дані в папці складу, але для зовнішньої таблиці це лише схема, яку ви втратите.
Отже, коли ви хочете знову повернути зовнішню таблицю, після видалення її можна знову створити таблицю з тією ж схемою і вказати її на вихідне місце розташування даних. Сподіваюся, це зрозуміло зараз.
Єдиною різницею в поведінці (а не за призначенням) на основі моїх поки що обмежених досліджень та тестувань (використовуючи вулик 1.1.0 -cdh5.12.0), здається, є те, що при падінні таблиці
(ПРИМІТКА. Див. Розділ "Керовані та зовнішні таблиці" на https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL, у якому перелічено деякі інші відмінності, які я не повністю зрозумів)
Я вважаю, що Hive вибирає місце, де йому потрібно створити таблицю, грунтуючись на наступному пріоритеті зверху вниз
Коли параметр "Місце розташування" не використовується під час "створення таблиці вуликів", використовується вищевказане правило пріоритету. Це стосується як внутрішніх, так і зовнішніх таблиць. Це означає, що внутрішня таблиця не обов'язково повинна знаходитися в каталозі Склад і може розміщуватися деінде.
Примітка. Можливо, я пропустив деякі сценарії, але на основі мого обмеженого дослідження поведінка як внутрішньої, так і розширеної таблиці схоже, за винятком однієї різниці (видалення даних), описаної вище. Я спробував такі сценарії як для внутрішніх, так і для зовнішніх таблиць.
У зовнішніх таблицях, якщо ви скинете її, вона видаляє лише схему таблиці, дані таблиці існують у фізичному розташуванні. Тому для видалення даних використовуйте табельну таблицю hadoop fs - rmr. Керований вуликовий стіл матиме повний контроль над столами. У зовнішніх таблицях користувачі матимуть контроль над нею.
Внутрішні таблиці корисні, якщо ви хочете, щоб Hive керував повним життєвим циклом даних, включаючи видалення, тоді як зовнішні таблиці корисні, коли файли використовуються поза Hive.
Зовнішня таблиця вуликів має переваги в тому, що вона не видаляє файли, коли ми скидаємо таблиці, ми можемо встановлювати формати рядків з різними налаштуваннями, як, наприклад, serde ....
Також пам’ятайте, що Hive - це великий склад даних. Коли ви хочете опустити таблицю, ви не хочете втрачати дані Гігабайт або Терабайт. Генерування, переміщення та копіювання даних у такому масштабі може зайняти багато часу. Якщо ви скинете таблицю "Керований", таблиця вуликів також видалить її дані. Якщо ви скинете таблицю "Зовнішня", вилучено лише визначення схеми з мета-магазину вулика. Дані про hdfs все ще залишаються.
Розглянемо цей сценарій, який найкраще підходить для зовнішньої таблиці:
Завдання MapReduce (MR) фільтрує величезний файл журналу, щоб виплюнути nфайли суб-журналу (наприклад, кожен файл під-журналу містить певний журнал типу повідомлень) та вихід, тобтоn файли підлогічного підлогічного файли, файли підлогічного журналу, зберігаються у hdfs.
Ці файли журналів потрібно завантажувати в таблиці Hive для подальшої аналітичної роботи. У цьому сценарії я рекомендую зовнішню таблицю (ів), оскільки фактичні файли журналів генеруються та належать зовнішньому процесу, тобто MR запису, крім того, ви можете уникнути додатковий крок завантаження кожного створеного файлу журналу у відповідну таблицю Hive.
вулик зберігає лише метадані в металосервісі та оригінальні дані у вулиці поза вуликом, коли ми використовуємо зовнішню таблицю, ми можемо дати розташування '' за допомогою цих наших оригінальних ефектів даних, коли ми скидаємо таблицю
Коли в HDFS вже є дані, для опису даних може бути створена зовнішня таблиця вуликів. Він називається ВНУТРІШНІМ, оскільки дані у зовнішній таблиці вказані у властивостях LOCATION замість каталогу складів за замовчуванням.
Зберігаючи дані у внутрішніх таблицях, Hive повністю керує життєвим циклом таблиці та даними. Це означає, що дані видаляються, коли внутрішня таблиця випадає. Якщо зовнішня таблиця випадає, метадані таблиці видаляються, але дані зберігаються. У більшості випадків зовнішню таблицю вважають за краще уникати видалення даних разом із таблицями помилково.
Для керованих таблиць Hive контролює життєвий цикл своїх даних. Hive зберігає дані для керованих таблиць у підкаталозі під каталогом, визначеним hive.metastore.warehouse.dir за замовчуванням.
Коли ми скидаємо керовану таблицю, Hive видаляє дані в таблиці. Але керовані таблиці менш зручні для обміну з іншими інструментами. Наприклад, скажімо, у нас є дані, які створюються та використовуються в основному Pig, але ми хочемо запустити деякі запити проти нього, але не надати Hive право власності на дані.
Тоді визначається зовнішня таблиця, яка вказує на ці дані, але не приймає на себе право власності на неї.
У вулику Ми також можемо створити зовнішню таблицю. Він повідомляє Hive звернутися до даних, які знаходяться в існуючому місці за межами каталогу складів. Видалення зовнішніх таблиць видалить метадані, але не дані.
Я хотів би додати це
Простими словами, є дві речі:
Вулик може керувати речами на складі, тобто він не видаляє дані зі складу. Коли ми видаляємо таблицю:
1) Для внутрішніх таблиць даними управляються внутрішньо на складі. Так буде видалено.
2) Для зовнішніх таблиць дані управляються вічними зі складу. Тому їх не можна видалити, і інші клієнти, крім вулика, також можуть ним користуватися.