У неформальній (наприклад, журналістській) технологічній пресі, а також в онлайнових блоги технологій і дискусійних форумах часто зустрічаються неофіційні поради, щоб залишити деяку кількість вільного місця на жорстких дисках або твердотільних накопичувачах. Наводяться різні причини для цього, а іноді немає жодної причини. Таким чином, ці твердження, хоча і є обґрунтованими на практиці, мають міфічне повітря про них. Наприклад:

• Після того, як ваш диск (і) буде на 80% повний, ви повинні розглянути їх повний , і ви повинні негайно видалити або оновити. Якщо вони потрапили 90% повний, ви повинні розглянути ваші особисті штани на справжньому вогні, і реагувати з відповідною кількістю безпосередності, щоб виправити це. ( Джерело .)

• Щоб зберегти збирання сміття з максимальною ефективністю, традиційною метою є зберегти від 20 до 30% вашого приводу порожнім. ( Джерело .)

• Я сказав, що я повинен залишити близько 20% безкоштовно на HD для кращої продуктивності, що HD дійсно сповільнюється, коли вона близька до повної. ( Джерело .)

• Ви повинні залишити місце для файлів підкачки та тимчасових файлів. В даний час я залишаю 33% відсотків вільними і і обітницю не отримати менше 10 Гб вільного місця на жорсткому диску. ( Джерело .)

• Я б сказав, як правило, 15%, але з тим, як великі жорсткі диски в даний час adays, до тих пір, як у вас достатньо для тимчасових файлів і файлів підкачки, технічно ви в безпеці. ( Джерело .)

• Я б рекомендував 10% плюс на Windows, тому що defrag не буде працювати, якщо немає про те, що багато вільного на диску, коли ви запускаєте його. ( Джерело .)

• Як правило, ви хочете залишити близько 10% вільно, щоб уникнути фрагментації ( Джерело .)

• Якщо накопичувач постійно перевищує 75 або 80 відсотків, слід розглянути оновлення до більшого SSD. ( Джерело .)

Чи були проведені дослідження, бажано опубліковані в рецензованому журналі, або в процентному чи абсолютному обсязі вільного простору, необхідному для конкретних комбінацій операційних систем, файлової системи та технології зберігання (наприклад, магнітна плита - тверде тіло)? (В ідеалі такі дослідження також пояснюють причину не перевищувати певний обсяг використовуваного простору, наприклад, для того, щоб запобігти виникненню системи простір підкачки , або щоб уникнути втрати продуктивності.)

Якщо ви знаєте про будь-яке таке дослідження, я був би вдячний, якщо б ви могли відповісти посиланням на нього, а також коротким резюме висновків. Дякую!

Чи були проведені дослідження, бажано опубліковані в рецензованому журналі […]?

Потрібно повернутися набагато далі, ніж 20 років, системного адміністрування або іншим чином, для цього. Це була гаряча тема, принаймні у світі операційних систем персональних комп'ютерів і робочих станцій, понад 30 років тому; час, коли люди BSD розробляли Berkeley Fast FileSystem, а Microsoft і IBM розробляли високопродуктивну файлову систему.

У літературі, присвяченій її творцям, обговорюються способи організації цих файлових систем так, що вони політика розміщення блоків отримали кращу продуктивність, намагаючись зробити послідовні блоки файлів суміжними. Ви можете знайти обговорення цього, а також той факт, що кількість і розташування вільного місця, що залишилося для виділення блоків, впливає на розміщення блоків і, отже, на продуктивність, в сучасних статтях з цього питання.

Це повинно бути досить очевидним, наприклад, з опису алгоритму розподілу блоків FFS Берклі, що якщо немає вільного простору в групі поточного і вторинного циліндрів і алгоритм, таким чином, досягає резервного рівня четвертого рівня ("застосовувати вичерпний пошук") для всіх груп циліндрів ») продуктивність виділення дискових блоків буде також постраждати, а також буде відбуватися фрагментація файлу (і, отже, продуктивність читання).

Саме ці та подібні аналізи (ці далекі від єдиних конструкцій файлової системи, спрямовані на поліпшення політики розмітки файлової системи того часу), на яких отримала отриману мудрість за останні 30 років.

Наприклад: висловлювання в оригіналі, що обсяги FFS не перевищують 90%, тому що продуктивність страждає, що базується на експериментах, створених творцями, можна знайти некритично повторюваними навіть у книгах на Unix файлових системах, опублікованих у цьому столітті. ^{(наприклад, Pate2003 стор. 216)} . Мало хто ставить під сумнів це, хоча Амір Х. Маджидмихр фактично пройшов століття тому, сказавши, що на практиці не спостерігається помітного ефекту; не в останню чергу завдяки звичайному механізму Unix, який резервує остаточні 10% для використання суперкористувача, а це означає, що 90% повний диск фактично є 100% повним для не-суперкористувачів так чи інакше ^{(Majidimehr1996 стор. 68)} . Так само, як і Біл Калкінс, який вважає, що на практиці можна заповнити до 99%, з розмірами дисків 21-го століття, перш ніж спостерігати ефекти від низького вільного простору, тому що навіть 1% сучасних розмірів дисків достатньо, щоб мати багато нефрагментованого вільного простору. ще грати ^{(Calkins2002 стор. 450)} .

Останнє є прикладом того, як отримана мудрість може стати неправильною. Є й інші приклади цього. Так само, як SCSI і ATA світів адресація логічного блоку і зонований бітовий запис швидше викинули з вікна всі ретельні розрахунки обертальна затримка У конструкції файлової системи BSD, так що фізична механіка SSD скоріше викидає з вікна вільний простір, отриманий мудрістю, що відноситься до дисків Вінчестера.

З SSD, кількість вільного місця на пристрої в цілому у всіх томах на диску і між ними , впливає як на продуктивність, так і на життя. І сама основа для ідеї про те, що файл потрібно зберігати в блоках з суміжними адресами логічного блоку, підривається тим, що SSD-файли не мають платин для обертання і голови для пошуку. Правила знову змінюються.

З SSD, рекомендований мінімальний обсяг вільного простору насправді більше ніж традиційні 10%, що виходить з експериментів з дисками Вінчестера і Берклі FFS 33 роки тому. Ананд Лал Шімпі дає 25%, наприклад. Ця різниця ускладнюється тим, що це має бути вільний простір на всьому пристрої , тоді як показник 10% в межах кожного окремого об'єму FFS і, таким чином, впливає на те, чи знає програма розбиття розділів TRIM весь простір, який не виділено дійсному тому диску за таблицею розділів.

Це також ускладнюється складностями, такими як TRIM-драйвери файлової системи, які можуть TRIM вільного простору всередині дискові томи, і той факт, що самі виробники SSD також вже виділяють різного ступеня зарезервований простір що навіть не видно поза пристроєм (тобто до господаря) для різних застосувань, таких як збір сміття та вирівнювання зносу.

Бібліографія

• Маршал К. МакКусік, Вільям Н. Джой, Семюел Дж. Лефлер і Роберт С. Фабрі (1984-08). Швидка файлова система для UNIX . Операції ACM на комп'ютерних системах. Том 2 випуск 3. стор.181–197. Архів у cornell.edu.
• Рой Дункан (1989-09). Розробка цілей і впровадження нової файлової системи високої продуктивності . Журнал Microsoft Systems . Том 4, випуск 5. стор. 1–13. Архів у wisc.edu.
• Маршал Кірк МакКусік, Кейт Бостик, Майкл Дж. Карелс і Джон С. Квартерман (1996-04-30). "Швидка файлова система Берклі". Розробка та впровадження операційної системи BSD 4.4 . Addison-Wesley Professional. ISBN 0201549794.
• Dan Bridges (1996-05). Всередині файлової системи високої продуктивності - Частина 4: Фрагментація, бітові карти дисків і кодові сторінки . Значні біти. Архівується в електронному журналі розробників для OS / 2.
• Кіт А. Сміт і Марго Селцер (1996). Порівняння політики розподілу дисків FFS . Матеріали щорічної технічної конференції USENIX. Архівується на harvard.edu.
• Стів Д. Пате (2003). "Аналіз ефективності ПФР". Файлові системи UNIX: еволюція, дизайн і реалізація . John Wiley amp; Сини. ISBN 9780471456759.
• Amir H. Majidimehr (1996). Оптимізація UNIX для продуктивності . Prentice Hall. ISBN 9780131115514.
• Білл Калкінс (2002). "Керування файловими системами". Всередині Solaris 9 . Публікація Que. ISBN 9780735711013.
• Ананд Лал Шімпі (2012-10-04). Дослідження взаємозв'язку між запасними зонами і продуктивністю консолідації в сучасних SSD . AnandTech.
• Генрі Кук, Джонатан Елліторп, Лора Кейс і Ендрю Уотерман (2010). IotaFS: вивчення оптимізації файлової системи для SSD-дисків . IEEE угод з побутової електроніки. Архівується на stanford.edu.
• https://superuser.com/a/1081730/38062
• Accela Zhao (2017-04-10). Підсумок SSD & amp; FTL . github.io.
• Чи обрізає Windows нерозподілений (неформатований) простір на SSD?

Хоча я не можу говорити про те, що "дослідження" публікуються "рецензованими журналами", - і я не хотів би покладатися на тих, для щоденної роботи - я можу говорити про реалії сотень виробництва на багатьох серверах протягом багатьох років:

Існує три причини, чому повний диск знижує продуктивність:

• Голодування вільного простору: подумайте про тимчасові файли, оновлення тощо.
• Деградація файлової системи: Більшість файлових систем страждають від можливості оптимального вирівнювання файлів, якщо їх не вистачає
• Погіршення рівня обладнання: SSD-диски та SMR-диски без достатнього вільного місця покажуть знижену пропускну здатність і, що ще гірше, збільшену затримку (іноді на багато порядків)

Перший момент тривіальний, тим більше, що жодна розумна виробнича система ніколи не використовуватиме обмінний простір у динамічно розширюваних і скорочуваних файлах.

Другий момент відрізняється від файлових систем до робочого навантаження. Для системи Windows зі змішаним навантаженням, поріг 70% виявляється досить корисним. Для файлової системи Linux ext4 з невеликими, але великими файлами (наприклад, системи відеопередачі) це може досягати 90 +%.

Третій момент - залежність апаратних засобів і прошивок, але особливо SSD з контролером Sandforce можуть відмовитися від стирання вільних блоків на робочих навантаженнях з високим рівнем запису, що призводить до збільшення затримок запису на тисячі відсотків. Зазвичай ми залишаємо 25% вільних на рівні розділів, потім спостерігаємо швидкість заповнення нижче 80%.

Рекомендації

Я розумію, що згадав як переконайтеся, що максимальна швидкість заповнення накладена. Деякі випадкові думки, жоден з них "не рецензований" (платний, підроблений або реальний), але всі вони з виробничих систем.

• Використовувати межі файлової системи: /var не належить до кореневої файлової системи.
• Моніторинг, моніторинг, моніторинг. Використовуйте готове рішення, якщо воно вам підходить, інакше проаналізуйте вихід df -h і нехай дзвони тривоги йдуть у випадку. Це може врятувати вас від 30 ядер на кореневому fs з автоматичним оновленням, встановленим і запущеним без опції autoremove.
• Зважте потенційне порушення переповнення fs від вартості збільшення його в першу чергу: Якщо ви не перебуваєте на вбудованому пристрої, ви можете просто подвоїти ці 4G для root.

Чи були проведені дослідження ... у відсотках або абсолютному обсязі вільного простору, необхідному для конкретних комбінацій операційних систем, файлової системи та технології зберігання ...?

За 20 років системного адміністрування я ніколи не стикався з дослідженнями з деталізацією вимог до вільного простору в різних конфігураціях. Я підозрюю, що це тому, що комп'ютери так різноманітно налаштовані, що це буде важко зробити через велику кількість можливих системних конфігурацій.

Щоб визначити, скільки вільного простору вимагає система, необхідно враховувати дві змінні:

1. Мінімальний простір, необхідний для запобігання небажаної поведінки, який сам по собі може мати визначення рідини.

   Зверніть увагу, що це неприйнятно визначати необхідний вільний простір саме цим визначенням, оскільки це еквівалент того, що можна безпечно проїхати 80 миль / год до цегляної стіни до того моменту, коли ви зіткнетеся з нею.

2. Швидкість, з якою споживається пам'ять, який диктує додаткову змінну кількість пробілу, зарезервовано, щоб система не погіршилася до того, як адміністратор встигне відреагувати.

Конкретна комбінація ОС, файлових систем, архітектури зберігання даних, поряд з поведінкою прикладних програм, конфігурацією віртуальної пам'яті тощо створює виклик для тих, хто бажає надати остаточні вимоги до вільного простору.

Ось чому там так багато "самородків". Ви помітите, що багато з них роблять рекомендації щодо певної конфігурації. Наприклад, "Якщо у вас є SSD, що підлягає виникненню проблем із продуктивністю, коли наближається потужність, залиште вище 20% вільного місця".

Тому що немає простої відповіді на це питання, правильний підхід до виявлення ваш Мінімальна потреба у вільному просторі системи полягає в тому, щоб розглянути різні загальні рекомендації з урахуванням конкретної конфігурації вашої системи, а потім встановити поріг, контролювати його і бути готовими налаштувати її за необхідності.

Або ви можете просто зберегти принаймні 20% вільного місця. Якщо, звичайно, у вас є обсяг RAID 6 обсягом 42 ТБ, який підтримується комбінацією SSD-дисків і традиційних жорстких дисків, а також попередньо виділений файл підкачки ...

Звичайно, сам привід (HDD або SSD) не міг менше піклуватися про те, скільки відсотків від нього використовується, крім SSD-дисків, які можуть заздалегідь видалити свій вільний простір. Продуктивність читання буде точно такою ж, і продуктивність запису може бути дещо гірше на SSD. У всякому разі, продуктивність запису не настільки важлива на майже повному диску, тому що немає місця для запису.

Ваша ОС, файлова система та програми, з іншого боку, очікують, що у вас завжди буде вільний простір. 20 років тому для програми було типово перевіряти, скільки місця ви маєте на диску, перш ніж спробувати зберегти ваші файли. Сьогодні додаток створюють тимчасові файли не запитуючи вашого дозволу, і, як правило, виникають аварії або поведінки, коли вони цього не роблять.

Файлові системи мають подібні очікування. Наприклад, NTFS зберігає великий шматок вашого диска для MFT, але все ще показує це місце як безкоштовне. Коли ви заповнюєте ваш NTFS диск вище 80% своєї потужності, ви отримуєте МФТ фрагментація що має дуже реальний вплив на продуктивність.

Крім того, наявність вільного простору дійсно допомагає проти фрагментації звичайних файлів. Файлові системи прагнуть уникати фрагментація файлу шляхом пошуку потрібного місця для кожного файлу залежно від його розміру. На диску, що заповнюється, вони матимуть менше варіантів, тому їм доведеться робити більш низькі можливості.

У Windows також очікується достатньо місця на диску файл підкачки , які можуть рости при необхідності. Якщо це неможливо, слід очікувати, що ваші програми будуть примусово закриті. Мабуть дуже мало місця для обміну погіршуватися продуктивність.

Навіть якщо ваш swap має фіксований розмір, робота повністю поза системним дисковим простором може призвести до падіння системи та / або перезавантаження (як Windows, так і Linux), оскільки операційна система очікує можливість запису на диск під час завантаження. Так, так, натискання 90% використання диска має змусити Вас вважати, що Ваші фарби підпалені. Не раз я не бачив комп'ютерів, які не вдалося завантажитися належним чином, поки останні завантаження не були видалені, щоб дати ОС трохи місця на диску.

Для SSD слід залишити пробіл, тому що швидкість перезапису збільшується і негативно впливає на продуктивність запису диска. 80% - це безпечне значення для всіх SSD-дисків, деякі новітні моделі можуть працювати навіть при 90-95% зайнятості.

https://www.howtogeek.com/165542/why-solid-state-drives-slow-down-as-you-fill-them-up/

"Правила" змінюються залежно від ваших вимог. Існують особливі випадки, наприклад, наприклад, ZFS: "З 90% потужності ZFS перемикається з оптимізації продуктивності на космічну, яка має значні наслідки для продуктивності". Так, це a дизайн аспект ZFS ... не щось отримане за допомогою спостережень або анекдотичних даних. Очевидно, що це менше питання, якщо ваш пул зберігання ZFS складається виключно з SSD. Проте, навіть за допомогою обертових дисків, ви можете з задоволенням досягти 99% або 100%, коли ви маєте справу зі статичним сховищем, і вам не потрібна першокласна продуктивність - наприклад, ваша особиста улюблена колекція фільмів, яка ніколи не змінюється і де безпека є пріоритетом 1.

Далі, btrfs - крайній випадок: коли вільний простір стає занадто низьким (кілька Мбайт), можна потрапити в точку без повернення. Ні, видалення файлів не є можливим, оскільки ви не можете. Просто не вистачає місця для видалення файлів. btrfs - це файлова система COW (copy-on-write), і ви можете досягти точки, де більше не можна змінювати метадані. На цьому етапі ви все ще можете додати додаткову пам'ять до файлової системи (флеш-накопичувач USB може працювати), а потім видалити файли з розширеної файлової системи, потім зменшити файлову систему і знову видалити додаткове сховище). Знову ж таки, це певний аспект, викликаний дизайн файлової системи.

Люди, які можуть дати вам "реальні (серйозні) дані", мабуть, стосуються "реального (серйозного) зберігання". Twisty (відмінна) відповідь згадує гібридні масиви (що складаються з великих обсягів дешевих повільних обертів, багато швидко обертаються дисків, багато SSDs ...), які працюють в корпоративному середовищі, де головним обмежуючим фактором є швидкість, з якою адміністратор можливість замовити оновлення. Перехід від 16T до 35T може тривати 6 місяців ... тому ви отримаєте серйозні звіти, які пропонують встановити сигнал на 50%.

Є багато, багато факторів, які сприяють цьому результату в дуже конкретних розмірах. Отже, немає жорсткого і швидкого числа, це можна виміряти лише як функцію цих параметрів. (Ось чому інші користувачі повідомляють про те, що жодного конкретного дослідження з даного конкретного предмету не було зроблено - занадто багато змінних для компіляції будь-якого переконливого).

• Устаткування

  • HDD має всі галузі виділені в будь-який час. Тому абсолютно не хвилює, скільки з них містить поточні дані користувача. (Для контролера всі сектори містять деякі дані в будь-який час, він просто читає і перезаписує його як сказано.)
  • Контролер SSD, з іншого боку, (de) динамічно розподіляє свої сектори, подібно до файлової системи. Що робить цю роботу важче при більш високих звичаях. Наскільки важче це і наскільки це впливає на спостережувану продуктивність, залежить від:
    • Продуктивність контролера і якість алгоритмів
    • Написати навантаження
    • До літерної протяжності, загального навантаження (дати контролеру час для збору сміття)
    • Перевищення простору (деякі виробники навіть дозволяють клієнту обрати попереднє замовлення або змінити його динамічно)

• Файлова система

  • Різні файлові системи призначені для різних навантажень і вимог обробки вузла. Це можна певною мірою налаштувати за допомогою параметрів формату.
  • Продуктивність запису FS є функцією вільного простору і фрагментації, продуктивність читання є лише функцією фрагментації. З самого початку вона поступово погіршується, тому питання полягає в тому, де лежить ваш допустимий поріг.

• Тип навантаження

  • Навантаження з великим навантаженням підкреслює швидкий пошук і доступ до нових вільних блоків
  • Важке навантаження на читання підкреслює консолідацію відповідних даних, щоб його можна було читати з меншими накладними витратами

Одна річ, яку слід враховувати з механічними приводами, полягає в тому, що пропускна здатність зовнішнього краю вище, ніж усередині. Це пояснюється тим, що для більшого кола зовнішньої сторони на кожний оборот більше секторів.

Оскільки накопичувач досягає потужності, продуктивність буде зменшуватися, оскільки доступні лише повільніші внутрішні сектори.

Для більш глибокого аналізу див https://superuser.com/a/643634

Це залежить від передбачуваного використання диска, але в цілому 20% до 15% вільного місця є гарною відповіддю на спінінг дисків, і 10% або більше добре для SSD.

Якщо це головний диск на комп'ютері і файли можуть бути переміщені, то 20% вільного простору має запобігти значним уповільненням. Це дозволить достатньо відкритого простору на всьому диску для переміщення та копіювання даних у разі потреби. Прядильний привід працюватиме краще, коли вільні місця розташування ближче до вихідних даних, тоді як у SSD фізичне розташування не впливає на щоденну продуктивність. Таким чином, прядильний привід повинен мати більше вільного простору для суто продуктивності. На SSD, зменшений вільний простір зменшить довговічність диска, але це не зменшить продуктивність. SSD-файли намагаються зберігати тимчасові дані і випадкові завантажені файли в найменш використаних місцях, щоб вони могли збалансувати використання комірки на всьому диску; інакше частина приводу буде старіти набагато швидше, ніж інша частина. Деякі нові SSD-диски можуть інтелектуально перекомпонувати файли таким чином, що порожній простір переміщується, але старі диски можуть не робити цього.

Якщо це носій або довготривалий накопичувач, то від 5% до 10% має бути достатньо, і 10% було б краще, якщо це прядильний диск. Вам не потрібно стільки вільного місця, оскільки цей диск рідко потребує переміщення даних, тому продуктивність не настільки велика. Вільний простір корисний, головним чином, для того, щоб пошкодити і замінити погані сектори, а також дозволити файлам бути більш суміжними.

Я б не підштовхнув будь-який привід за 95% потужності протягом більш ніж одного дня, якщо немає дуже гарної, чіткої причини.