Автоматичні багатоярусні рішення для зберігання даних з Linux? (Пам'ять -> SSD -> HDD -> віддалене зберігання)

Пов’язане з цим питанням щодо використання SSD для системи та жорсткого диска для даних , за винятком того, я б хотів, щоб моя система це робила автоматично ...

Чи можливо мати декілька шарів для зберігання та автоматично переміщувати елементи між ними, використовуючи бажано безкоштовне програмне забезпечення з відкритим кодом?

Мені відомі надзвичайно дорогі рішення корпоративного класу, такі як автоматичне архівування EMC SAN-> EMC Centera , але мені було цікаво, чи таке поетапне зберігання можливо зробити автоматично.

Було б непогано мати в цьому кілька шарів: Пам'ять-> SSD-> HDD-> повільніший жорсткий диск або стрічка або якесь інше рішення архіву.

Чи є файлові системи, які можуть це зробити автоматично? (ZFS, Btrfs, HAMMER?)

Будь-які Unix -варианти - це добре, тому що мене цікавить, як це працює і чи може він бути переносним для Linux чи інших ароматів (BSD тощо).

Що ж, ZFS використовує шари зберігання під назвою Hybrid Pool Storage Pool (HSP) :

1. Шар: пам'ять
2. Шар: кеш-пам'ять для читання на основі SSD (L2ARC) та кеш-запис (окремий журнал журналу намірів, який також називається слоган).
3. Шар: (дешеві) жорсткі диски

Завдяки HSP легко використовувати автоматично переваги SSD-дисків порівняно з рішенням, що містить лише жорсткий диск. Система, що використовує HSP, може бути як швидшою, так і дешевшою, ніж остання. Дивіться на цьому посиланні кілька прикладних прикладів та більше деталей.

Я думаю, є плани щодо ієрархічного управління зберіганням даних (HSM) для ZFS (див., Наприклад, проект OpenSolaris автоматичної міграції даних ), але я не знаю її поточного стану.

Ознайомтеся з рішенням "lvmts" (LVM Tiered Storage) на основі LVM, який цей хлопець готує:

https://bbs.archlinux.org/viewtopic.php?pid=1140640#p1140640

Дуже здорово.

Здається, TIER відповідає вашим потребам. Це модуль ядра Linux, який може створити багатоярусне сховище. Начебто самостійно вивчити схему та оптимізувати розміщення у сховищі

http://www.lessfs.com/wordpress/?p=776

Відповідаючи на власне запитання, я щось знайшов:

Я тільки оновлював ядро ​​і переглядав нові додані речі, і тепер є параметр "CACHEFILES", який дозволяє кешувати (як правило, віддалені) файлові системи в локальну файлову систему. Я думаю, я міг би використовувати це для кешування більш повільного механізму зберігання (HDD) до більш швидкого (SSD), принаймні для одного рівня ієрархії.

Деякі відповідні посилання. YMMV.

http://code.google.com/p/fscops/ - "Менеджер ієрархічного зберігання даних (OHSM) - це перша спроба спрямувати менеджер зберігання даних з відкритим кодом на рівні підприємства, який автоматично переміщує дані між дорогим і недорогим сховищем. ЗМІ. ".

http://www.tack.ch/unix/dmapi/ - XFS + DMAPI під Linux

http://jfs.sourceforge.net/ - JFS + DMAPI під Linux

RAID-контролери пропонують деякі з цих функцій.

"Використовує SSD-диски перед об'ємами жорсткого диска для створення потужних, високопродуктивних кеш-пулів контролерів"

http://www.lsi.com/channel/products/storagesw/Pages/MegaRAIDCacheCadeSoftware2-0.aspx

Знімки LVM2 приходять на думку ... але ви не можете зробити більше, ніж один знімок.

SAM-QFS є існуючим продуктом Sun і був відкритий у минулому році. Це CDDL, тому ви можете лише безпосередньо перенести його на * BSD.