Масивне, непередбачуване падіння продуктивності вводу / виводу в Linux

Я використовую Debian тестування без проблем протягом ~ 6 років (я його регулярно оновлюю), але останнім часом він почав демонструвати випадкову поведінку, яка може бути зведена як "низька продуктивність вводу / виводу, яка зберігається до перезавантаження".

Проблема полягає в тому, що раптом весь диск читає і записує сповільнення до ~ 5 Мб / сек, що призводить до безперервного читання і запису. Оскільки швидкість настільки низька, диски не піддаються механічній проблемі або напрузі, але все сповільнюється, поки я не перезавантажуюсь.

Підсистема вводу / виводу комп’ютера складається з одного SSD OCZ Vertex 3 та двох жорстких дисків WD Caviar Black. SSD вміщує важку частину ОС, а розділ на жорсткому диску - решта.

Щоб діагностувати проблему, я без успіху намагався:

• top не показує жодної активізованої активності ні у процесорі, ні у вводу / виводу.
• hdparmповертає нормальні показники продуктивності дисків (я перевіряв лише -t).
• smartctlне відображає проблем із продуктивністю на дисках. Довгі тести показали, що диски настільки ж нові, як нові.

Система має чіпсет Z77, 16 ГБ оперативної пам’яті та процесор Intel i7 3770K, а статистика не показує ознак насичення в оперативній пам’яті, вході / виводі чи процесорі, але я не досвідчений налагоджувати подібні проблеми (наприклад, у просторі ядра). Будь-яка допомога буде вдячна.

Оновлення 1:

• Я перебіг (змушений) fsck на кожній секції як запобіжний захід. Всі ФС чисті.
• До речі, я знайшов оновлення BIOS, яке вийшло місяць тому, і застосував його.
• Жодна секція не заповнена більше 50%.

Оновлення 2:

Проблема не в тому, що з'являється два дні. Або fsckоновлення BIOS очистило деякі засмічення в системі. Я все ще спостерігаю за проблемою, і закрию це питання посмертною відповіддю.

Оновлення 3:

Проблема просто з’явилася, і я ще трохи копав. Будь ласка, дивіться відповідь.

Мені вдалося знову відтворити проблему, і це було результатом великого дискового кешу. Мої кешові диски можуть вирости більше 8 Гб, і здається, що деяким додаткам це не подобається, і введення / виведення страждає.

Видалення кеш-пам’ятів диска, echo 3 > /proc/sys/vm/drop_cachesяк кореня, усуває проблему. На даний момент я не знаю, чому великі кешові диски викликають цю деградацію вводу / виводу.

Останнє оновлення: Після більшого розслідування я з'ясував, що кількість файлів у кеші викликає проблему. Він перебирав диски, намагаючись ввести багато дискретних файлів назад на диск. Оскільки я користувався системою десять років, я скористався і перевстановив 64-бітний Debian. Зараз це працює безперебійно. Це, мабуть, був побічним ефектом десятирічного оновлення із знаходженням обмежень 32-бітної операційної системи.

Чи є якісь підозрілі повідомлення dmesg?

Ще кілька інструментів, які ви можете спробувати отримати деяку інформацію про вузькі місця системи:

• dstat
• латенцитоп
• sysprof