Bigtable
Розподілена система зберігання структурованих даних
Bigtable - це розподілена система зберігання даних (побудована Google) для управління структурованими даними, яка призначена для масштабування до дуже великого розміру: петабайт даних на тисячах товарних серверів.
Багато проектів у Google зберігають дані у Bigtable, включаючи веб-індексацію, Google Earth та Google Finance. Ці програми пред'являють дуже різні вимоги до Bigtable, як щодо розміру даних (від URL-адрес до веб-сторінок до супутникових знімків), так і вимог до затримки (від об'ємної обробки масивів до подачі даних у режимі реального часу).
Незважаючи на ці різноманітні вимоги, Bigtable успішно запропонував гнучкі, високоефективні рішення для всіх цих продуктів Google.
Деякі особливості
- швидкі та надзвичайно масштабні СУБД
- розріджена, розподілена багатовимірна сортована карта з обмінними характеристиками як орієнтованих на рядки, так і на колонки.
- призначений для масштабування в діапазоні петабайт
- він працює на сотнях або тисячах машин
- легко додати більше машин до системи та автоматично почати користуватися цими ресурсами без будь-якої конфігурації
- кожна таблиця має декілька розмірів (один з яких - це поле для часу, що дозволяє проводити версію)
- таблиці оптимізовані для GFS (файлової системи Google), розділивши їх на кілька планшетів - сегменти таблиці як розділені по рядку, вибраному таким чином, що розмір планшета має розмір ~ 200 мегабайт.
Архітектура
BigTable не є реляційною базою даних. Він не підтримує приєднання, а також не підтримує багаті SQL-запити. Кожна таблиця - це багатовимірна розріджена карта. Таблиці складаються з рядків і стовпців, і кожна клітина має часову позначку. Може бути кілька версій комірки з різними позначками часу. Позначення часу дозволяє проводити такі операції, як "вибрати 'n' версії цієї веб-сторінки" або "видалити комірки, старші за певну дату / час".
Для управління величезними таблицями Bigtable розбиває таблиці за межами рядків і зберігає їх у вигляді планшетів. Планшет становить близько 200 Мб, і кожна машина зберігає близько 100 планшетів. Ця настройка дозволяє розповсюджувати планшети з однієї таблиці між багатьма серверами. Це також дозволяє тонкозернисту балансування навантаження. Якщо одна таблиця отримує багато запитів, вона може пролити інші планшети або перемістити зайняту таблицю на іншу машину, яка не так зайнята. Крім того, якщо машина не працює, планшет може бути розповсюджений на багатьох інших серверах, так що ефективність роботи на будь-якій машині буде мінімальною.
Таблиці зберігаються як незмінні SSTables та хвіст журналів (один журнал на машині). Коли в машині не вистачає системної пам'яті, вона стискає деякі планшети, використовуючи власні методи компресії Google (BMDiff та Zippy). Незначні ущільнення включають лише кілька планшетів, тоді як основні ущільнення включають всю систему таблиці та відновлюють місце на жорсткому диску.
Розташування планшетів Bigtable зберігаються в клітинках. Пошук будь-якого конкретного планшета обробляється трирівневою системою. Клієнти отримують бал до таблиці META0, з яких є лише одна. Таблиця META0 відстежує багато таблеток META1, які містять розташування планшетів, які шукають. І META0, і META1 активно використовують попереднє завантаження та кешування, щоб мінімізувати вузькі місця в системі.
Впровадження
BigTable створений на основі файлової системи Google (GFS), яка використовується як резервна копія файлів журналів та даних. GFS забезпечує надійне зберігання для SSTables - формату файлів Google, що використовується для збереження даних таблиці.
Ще одна послуга, якою BigTable широко користується, це Chubby , високодоступний, надійний розподілений замок. Chubby дозволяє клієнтам зняти замок, можливо, асоціюючи його з деякими метаданими, які він може відновити, надсилаючи постійні повідомлення назад Chubby. Замки зберігаються у ієрархічній структурі імен, подібних до файлової системи.
У системі Bigtable є три основних типи серверів :
- Основні сервери: призначають планшети серверам планшетів, відслідковують, де розміщені планшети, і перерозподіляють завдання за потребою.
- Сервери планшетів: обробляйте запити на читання / запис для планшетів та розділених планшетів, коли вони перевищують обмеження розміру (зазвичай 100МБ - 200МБ). Якщо сервер планшетного ПК виходить з ладу, то 100 серверів планшетів кожен пікап 1 новий планшет і система відновиться.
- Блокування серверів: екземпляри розподіленої служби блокування Chubby. Безліч дій у BigTable вимагають придбання замків, включаючи відкриття планшетів для запису, гарантуючи, що одночасно не більше ніж один активний Master та перевірка контролю доступу.
Приклад з дослідницької роботи Google:
Фрагмент прикладної таблиці, в якій зберігаються веб-сторінки. Назва рядка - це
зворотна URL-адреса . Сімейство стовпців вмісту містить вміст сторінки , а сім'я стовпців якоря містить
текст будь-яких якорів, які посилаються на сторінку. На домашню сторінку CNN посилаються як домашні сторінки Sports Illustrated, так і MY-look, тому рядок містить стовпці з назвою
anchor:cnnsi.comта
anchor:my.look.ca. Кожна анкерна комірка має одну версію ; стовпець зміст має три версії , на тимчасові мітки
t3, t5і t6.
API
Типовими операціями для BigTable є створення та видалення таблиць та сімей колонок, запис даних та видалення стовпців з рядка. BigTable надає ці функції розробникам програм в API. Операції підтримуються на рівні рядків, але не через кілька клавіш рядків.
Ось посилання на PDF дослідницької роботи .
І тут ви можете знайти відео, на якому демонструється Джеф Дін Google на лекції у Вашингтонському університеті , де обговорюється система зберігання вмісту Bigtable, що використовується у програмі Google.
