Кешування / попереднє завантаження файлів з Linux в оперативну пам'ять

У мене досить старий сервер, який має 4 Гб оперативної пам’яті, і він майже весь день обслуговує одні і ті ж файли, але це робиться з жорсткого диска, тоді як 3 ГБ оперативної пам’яті «вільні».

Кожен, хто коли-небудь намагався запустити трамвайний привід, може засвідчити, що це дивовижно з точки зору швидкості. Використання пам'яті в цій системі зазвичай ніколи не перевищує 1 ГБ / 4 ГБ, тому я хочу знати, чи є спосіб використовувати цю додаткову пам'ять для чогось хорошого.

• Чи можна сказати файловій системі завжди обслуговувати певні файли з оперативної пам’яті?
• Чи є якісь інші методи, якими я можу скористатися для вдосконалення можливостей читання файлів за допомогою оперативної пам'яті?

Більш конкретно, я не шукаю тут "злому". Я хочу, щоб виклики файлової системи обслуговували файли з оперативної пам’яті без необхідності створювати оперативний диск і копіювати файли туди вручну. Або принаймні сценарій, який робить це для мене.

Тут можливі додатки:

• Веб-сервери зі статичними файлами, які читають багато
• Сервери додатків з великими бібліотеками
• Настільні комп'ютери з занадто великою кількістю ОЗУ

Будь-які ідеї?

Редагувати:

• Це виявилося дуже інформативним: Кеш сторінки та Linux pdflush
• Як зазначив Зан, пам'ять насправді не вільна. Що я маю на увазі, що це не використовується програмами, і я хочу контролювати те, що має бути кешоване в пам'яті.

vmtouch здається хорошим інструментом для роботи.

Основні моменти:

• запитувати, скільки кешованих файлів каталогу
• запитувати, скільки файлу кешується (також, які сторінки, графічне зображення)
• завантажити файл у кеш
• видалити файл з кешу
• блокування файлів у кеші
• бігти як демон

vmtouch керівництво

РЕДАКТУВАННЯ: Використання, вказане у питанні, перелічено у прикладі 5 на домашній сторінці vmtouch

Example 5

Daemonise and lock all files in a directory into physical memory:

vmtouch -dl /var/www/htdocs/critical/

EDIT2: Як зазначено в коментарях, зараз доступно сховище git .

Це також можливо з допомогою vmtouch Virtual Memory Toucher утиліти .

Інструмент дозволяє керувати кешем файлової системи в системі Linux. Ви можете примусити або заблокувати певний файл або каталог в підсистемі кешу VM або використовувати його, щоб перевірити, які частини файлу / каталогу містяться в VM.

How much of the /bin/ directory is currently in cache?

$ vmtouch /bin/
           Files: 92
     Directories: 1
  Resident Pages: 348/1307  1M/5M  26.6%
         Elapsed: 0.003426 seconds

Або ...

Let's bring the rest of big-dataset.txt into memory...

$ vmtouch -vt big-dataset.txt
big-dataset.txt
[OOo                                                 oOOOOOOO] 6887/42116
[OOOOOOOOo                                           oOOOOOOO] 10631/42116
[OOOOOOOOOOOOOOo                                     oOOOOOOO] 15351/42116
[OOOOOOOOOOOOOOOOOOOOOo                              oOOOOOOO] 19719/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOo                        oOOOOOOO] 24183/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo                  oOOOOOOO] 28615/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo              oOOOOOOO] 31415/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo      oOOOOOOO] 36775/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo  oOOOOOOO] 39431/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOO] 42116/42116

           Files: 1
     Directories: 0
   Touched Pages: 42116 (164M)
         Elapsed: 12.107 seconds

Хитрість бідолахи для отримання матеріалів у кеш файлової системи полягає в тому, щоб просто перевести її в коти і перенаправити на / dev / null.

Linux буде кешувати стільки дискових вводу-пам'яті, скільки можливо. Ось що таке статистика пам'яті кеша і буфера. Це, ймовірно, зробить кращу роботу, ніж ви, при зберіганні правильних речей.

Однак, якщо ви наполягаєте на збереженні даних у пам'яті, ви можете створити оперативний диск, використовуючи або tmpfs, або ramfs. Різниця полягає в тому, що ramfs виділить всю пам'ять, яку ви запитуєте, оскільки tmpfs використовуватиме лише ту пам'ять, яку використовує ваш блоковий пристрій. Моя пам’ять трохи іржава, але ви повинні вміти:

 # mount -t ramfs ram /mnt/ram 

або

 # mount -t tmpfs tmp /mnt/tmp

а потім скопіюйте свої дані в каталог. Очевидно, що коли ви вимкнете апарат або відключите цей розділ, ваші дані будуть втрачені.

Після деякого докладного ознайомлення з функціями перемикання ядра 2.6 та кешування сторінок я знайшов "fcoretools". Який складається з двох інструментів;

• завершення: Виявить, скільки сторінок додаток зберігає в основній пам'яті
• fadvise: Дозволяє маніпулювати ядром пам'яті (кеш сторінки).

(Якщо хтось інший виявить це цікавим, я публікую це тут)

Є два налаштування ядра, які можуть значно допомогти навіть без використання інших інструментів:

свавілля

повідомляє Linux Linux, як агресивно він повинен використовувати своп. Цитуючи статтю у Вікіпедії:

Swappiness - це властивість ядра Linux, яке змінює баланс між заміною пам’яті виконання, на відміну від видалення сторінок із кешу сторінок системи. Зміна може бути встановлена ​​на значення від 0 до 100 включно. Низьке значення означає, що ядро ​​намагатиметься максимально уникати заміни там, де більш високе значення замість цього змусить ядро ​​агресивно намагатися використовувати простір swap. Значення за замовчуванням становить 60, а для більшості настільних систем встановлення його на 100 може вплинути на загальну продуктивність, тоді як встановлення його нижче (навіть 0) може покращити інтерактивність (зменшується затримка відповіді.)

vfs_cache_pressure

Цитування з vm.txt :

Контролює схильність ядра до повернення пам'яті, яка використовується для кешування об'єктів каталогу та inode.

За значенням за замовчуванням vfs_cache_pressure = 100 ядро ​​намагатиметься відшкодувати зубні протези та індекси за "справедливою" швидкістю щодо відновлення сторінкового кешу та повернення swapcache. Зниження vfs_cache_pressure призводить до того, що ядро ​​вважає за краще зберігати кеш-пам'ять зубів та зубів. ...

Встановивши swappinessвисоку (як 100), ядро ​​переміщує все, що не потрібно міняти, звільняючи оперативну пам’ять для кешування файлів. І встановивши vfs_cache_pressureнижчу (скажімо, на 50, а не на 0!), Вона сприятиме кешування файлів, а не збереження даних програми в оперативній пам'яті.

(Я працюю над великим проектом Java, і кожен раз, коли я його запускаю, потрібно було багато оперативної пам’яті та промивання кеш-диска, тому наступного разу, коли я скомпілював проект, все було прочитано з диска. Регулюючи ці два налаштування, я керую щоб зберегти джерела та складений кешований вихід у оперативній пам'яті, що значно прискорить процес.)

Я дуже сумніваюся, що він фактично обслуговує файли з диска з 3 ГБ оперативної пам’яті. Кешування файлів Linux дуже добре.

Якщо ви бачите IO диска, я би вивчив ваші конфігурації журналу. Багато журналів встановлюються як незаблоковані, щоб гарантувати наявність найновішої інформації журналу у випадку збою. У системах, які повинні бути швидкими незалежно, використовуйте захищений журнал IO або використовуйте віддалений сервер журналу.

Якщо у вас є багато пам'яті, ви можете просто прочитати файли, які ви хочете кешувати з кішкою або подібними. Потім Linux зробить хорошу роботу, щоб зберегти його.

Можливо, ви зможете мати програму, яка просто mmapзбирає ваші файли, а потім залишається запущеною.

Існують різні системи ramfs, якими ви можете скористатися (наприклад, ramfs, tmpfs), але в цілому, якщо файли насправді читаються часто, вони сидять у кеші вашої файлової системи. Якщо ваш робочий набір файлів більший, ніж ваш безкоштовний оперативної пам’яті, файли будуть очищені від нього - але якщо ваш робочий набір більший, ніж ваш безкоштовний баран, ви не зможете вписати все це у рамковий диск.

Перевірте вихід команди "вільний" в оболонці - значення в останньому стовпчику під "Кешоване" - це кількість вашого вільного оперативної пам’яті, що використовується для кешу файлової системи.

Щодо останнього питання, переконайтеся, що ваша ОЗУ сидить на різних каналах пам'яті, щоб процесор міг отримувати дані паралельно.

Я думаю, що це може бути краще вирішено на рівні програми. Наприклад, для цього, мабуть, є спеціалізовані веб-сервери, або ви можете розглянути mod_cache з Apache. Якщо у вас є певна мета, наприклад, швидше розміщення веб-контенту, ви можете вдосконалити такі речі, як я думаю.

Але ваше запитання має загальний характер, підсистема пам'яті Linux створена для забезпечення найкращого загального використання оперативної пам'яті. Якщо ви хочете орієнтуватися на певні типи продуктивності, подумайте про пошук у програмі / proc / sys / vm.

Пакет fcoretools цікавий, мене цікавлять будь-які статті про його застосування ... Це посилання розповідає про фактичні системні виклики, які використовуються в додатку.

Настільні комп'ютери (наприклад, ubuntu) вже використовують попереднє завантаження файлів (принаймні, популярних спільних бібліотек) для пам'яті під час завантаження. Він використовується для прискорення завантаження та запуску різних програм, таких як FF, OO, KDE та GNOME (з еволюційною розсилкою).

Інструмент має назву readahead http://packages.ubuntu.com/dapper/admin/readahead

Існує також відповідний syscall: readahead (2) http://linux.die.net/man/2/readahead

Також є проект попередньої завантаження демона: http://linux.die.net/man/8/preload

http://www.coker.com.au/memlockd/ робить це

хоча вам це справді не потрібно, Linux зробить досить непогану роботу з кешування файлів, які ви використовуєте самостійно.

Я щойно спробував DD, якщо = / dev / yourrootpartition = / dev / null \ bs = 1Mcount = howmuchmemoryyouwanttofill

це не дає мені контролю, якого ви хочете, але він, принаймні, намагається використовувати марну пам'ять

Я використовую find / -name stringofrandomcharacter, що допомагає багато

Не зовсім те, що просили, але я використовую

знайти BASE_DIRECTORY -тип f -exec cat {}> / dev / null \;

щоб запустити ініціалізацію файлів у томі AWS, створеному на момент знімка. Це більш цілеспрямовано, ніж офіційна рекомендація щодо використання DD, якщо ви просто хочете прочитати деякі файли.

Іноді я, можливо, захочу кешувати файли у певній папці та її підпапках. Я просто заходжу в цю папку і виконую наступне:

знайти. -exec cp {} / dev / null \;

І ці файли кешовані