У мене ноутбук Debian (Buster) з 8 ГБ оперативної пам’яті та 16 Гб свопом. Я виконую дуже довге завдання. Це означає, що мій ноутбук був залишений упродовж останніх шести днів, поки він перебігає.

Роблячи це, мені періодично потрібно використовувати свій ноутбук як ноутбук. Це не повинно бути проблемою; довге завдання, пов'язане з введенням / виведенням, працює над матеріалами на жорсткому диску USB і не займає багато оперативної пам'яті (<200 МБ) або процесора (<4%).

Проблема полягає в тому, що коли я повернуся до свого ноутбука через кілька годин, він буде дуже млявим і може зайняти 30 хвилин, щоб повернутися до нормального стану. Це настільки погано, що монітори аварійних зборів позначають їхні програми на заморожених (особливо вікна браузера) і все починає неправильно виходити з ладу.

Дивлячись на системний монітор, 2,5 Гб, що використовується близько половини, переходить на своп. Я підтвердив, що це проблема, видаливши swap space ( swapoff /dev/sda8). Якщо я залишу його без місця заміни, він повернеться до життя майже миттєво навіть через 24 години. З заміною, це практично цегла, за перші п’ять хвилин залишилось лише шість годин. Я підтвердив, що споживання пам’яті ніколи не перевищує 3 Гб, навіть коли я відсутній.

Я спробував зменшити свопчість ( див. Також: Вікіпедія ) до значень 10та 0, але проблема все ще зберігається. Здається, що після дня бездіяльності ядро ​​вважає, що весь графічний інтерфейс більше не потрібен, і витирає його з оперативної пам’яті (замінює його на диск). Завдання, що триває, - читання через величезне дерево файлів і читання кожного файлу. Тому ядро ​​може заплутатися в думці, що кешування допоможе. Але при одночасному переході на 2 ТБ USB HD з ~ 1 мільярдом імен файлів додаткова ГБ оперативної пам’яті не допоможе значною ефективністю. Це дешевий ноутбук з млявим жорстким диском. Він просто не може завантажити дані назад в оперативну пам'ять досить швидко.

Як я можу сказати Linux використовувати просто обмінний простір у надзвичайних ситуаціях? Я не хочу бігати без свопу. Якщо трапиться щось несподіване, а ОС раптом потребує додаткових кількох ГБ, то я не хочу, щоб завдання вбивались, і я вважаю за краще почати використовувати своп. Але на даний момент, якщо я залишаю ввімкнути своп, мій ноутбук просто не можна використовувати, коли мені це потрібно.

Точне визначення "надзвичайної ситуації" може стати предметом дискусій. Але для уточнення того, що я маю на увазі: надзвичайною ситуацією буде те, коли система залишається без іншого варіанту, ніж обміняти або вбити процеси.

Що таке надзвичайна ситуація? - Вам справді треба запитати? ... Сподіваюся, ви ніколи не опинитесь у палаючій будівлі!

Мені неможливо визначити все, що може стати надзвичайною ситуацією в цьому питанні. Але, наприклад, може виникнути надзвичайна ситуація, коли ядро ​​настільки натиснуто на пам'ять, що воно починає вбивати процеси з убивцею OOM . Надзвичайна ситуація НЕ, коли ядро ​​думає, що може покращити продуктивність за допомогою swap.

Остаточне редагування: я прийняв відповідь, яка робить саме те, про що я просив на рівні операційної системи. Майбутні читачі також повинні взяти до відома відповіді, що пропонують рішення на рівні додатків.

В даний час такий величезний обмін часто є поганою ідеєю. На той момент, коли ОС замінила лише кілька ГБ оперативної пам’яті для заміни, ваша система вже переповзла (наприклад, що ви бачили)

Краще використовувати zramз невеликим резервним розділом swap . Багато ОС, як ChromeOS, Android та різні дистрибутиви Linux, роками дозволяють використовувати zram за замовчуванням, особливо для систем з меншою пам’яттю оперативної пам’яті. Це набагато швидше, ніж робити заміну на жорсткому диску, і ви чітко можете відчути чутливість системи в цьому випадку. Менше на SSD, але згідно з результатами тестування, він все ще здається швидшим, навіть якщо алгоритм lzo за замовчуванням. Ви можете змінити на lz4 для ще кращої продуктивності з трохи меншим співвідношенням стиснення. Це швидкість декодування майже в 5 разів швидша, ніж lzo на основі офіційного орієнтиру

Є також, zswapхоча я ніколи його не використовував. Напевно, варто спробувати і порівняти, який з них краще для ваших випадків використання

Після цього ще одна пропозиція - зменшити пріоритет цих процесів, пов'язаних з IO, і, можливо, залишити термінал, який працює з більш високим пріоритетом, щоб ви могли запускати команди на ньому відразу, навіть коли система знаходиться на великому навантаженні

Подальше читання

• https://wiki.debian.org/ZRam
• https://wiki.archlinux.org/index.php/improving_performance#RAM_and_swap
• zram vs zswap vs zcache Кінцеве керівництво: коли використовувати який
• Linux, SSD та swap
• Різниця між ZRAM та ZSWAP
• https://www.kernel.org/doc/Documentation/blockdev/zram.txt
• https://wiki.gentoo.org/wiki/Zram

Одне виправлення полягає в тому, щоб переконатися, що контролер групи пам’яті включений (я вважаю, що це за замовчуванням навіть у пів-останніх ядрах, інакше вам потрібно буде додати cgroup_enable=memoryдо командного рядка ядра). Тоді ви можете запустити своє інтенсивне завдання вводу / виводу в групу з обмеженням пам’яті, що також обмежує кількість кешу, який він може споживати.

Якщо ви використовуєте systemd, ви можете встановити +MemoryAccounting=yesі MemoryHigh/ MemoryMaxабо MemoryLimit(залежно від того, якщо ви використовуєте cgroup v1 або v2) в блоці, або фрагмент, що містить його. Якщо це фрагмент, його можна використовувати systemd-runдля запуску програми в фрагменті.

Повний приклад однієї з моїх систем для запуску Firefox з обмеженням пам’яті. Зауважте, що для цього використовується cgroups v2 і встановлюється як мій користувач, а не root (одна з переваг v2 над v1 - те, що делегування цього не-root є безпечним, так це робить systemd).

$ systemctl --user cat mozilla.slice 
# /home/anthony/.config/systemd/user/mozilla.slice
[Unit]
Description=Slice for Mozilla apps
Before=slices.target

[Slice]
MemoryAccounting=yes
MemoryHigh=5G
MemoryMax=6G

$ systemd-run --user --slice mozilla.slice --scope -- /usr/bin/firefox &
$ systemd-run --user --slice mozilla.slice --scope -- /usr/bin/thunderbird &

Я знайшов, щоб користувач працював, мені довелося використовувати фрагмент. Системна система працює лише шляхом введення параметрів у файл служби (або використання systemctl set-propertyв сервісі).

Ось приклад служби (використовуючи cgroup v1), зверніть увагу на останні два рядки. Це частина екземпляра системи (pid = 1).

[Unit]
Description=mount S3QL filesystem
Requires=network-online.target
After=network-online.target

[Install]
WantedBy=multi-user.target

[Service]
Type=forking
User=s3ql-user
Group=s3ql-user
LimitNOFILE=20000
ExecStartPre=+/bin/sh -c 'printf "S3QL_CACHE_SIZE=%%i\n" $(stat -c "%%a*%%S*.90/1024" -f /srv/s3ql-cache/ | bc) > /run/local-s3ql-env'
ExecStartPre=/usr/bin/fsck.s3ql  --cachedir /srv/s3ql-cache/fs1 --authfile /etc/s3ql-authinfo  --log none «REDACTED»
EnvironmentFile=-/run/local-s3ql-env
ExecStart=/usr/bin/mount.s3ql --keep-cache --cachedir /srv/s3ql-cache/fs1 --authfile /etc/s3ql-authinfo --cachesize ${S3QL_CACHE_SIZE} --threads 4
ExecStop=/usr/bin/umount.s3ql /mnt/S3QL/
TimeoutStopSec=2m
MemoryAccounting=yes
MemoryLimit=1G

Документація знаходиться в systemd.resource-control(5).

Здається, що після дня бездіяльності ядро ​​вважає, що весь графічний інтерфейс більше не потрібен, і витирає його з оперативної пам’яті (замінює його на диск).

Ядро робить правильну річ ™, вірячи в це. Чому він би зберігав невикористану ¹ пам'ять в оперативній пам’яті і так по суті витрачав її, а не використовував її як кеш чи щось?

Я не думаю, що ядро ​​Linux безперешкодно чи не передбачає заміни сторінок, тому, якщо це зробити, це потрібно зберегти щось інше в оперативній пам’яті, тим самим покращуючи ефективність вашої тривалої задачі або, принаймні, з цією метою.

Якщо ви знаєте, коли вам потрібно буде заздалегідь повторно використовувати ваш ноутбук, ви можете скористатися atкомандою (або crontab) для планування очищення підкачки ( swapoff -a;swapon -a).

Як чистка свопу може бути зайвим і навіть викликати ОИЙ вбивця , якщо з якоїсь - то причини, не всі підходять в оперативній пам'яті, ви могли б просто «unswap» ² всі , що пов'язано з запущеними додатками , які ви хочете , щоб оживити.

Один із способів зробити це - приєднати налагоджувач, як і gdbдо кожного із порушених процесів, і запустити генерацію дампів:

# gdb -p <pid>
...
generate-core-dump /dev/null
...
quit

Як ви писали, ваша довговічна програма не повторно використовує дані, які вона читає після первинного пропуску, тому ви знаходитесь в конкретному випадку, коли довготривале кешування не корисне. Тоді обхід кеш-пам'яті за допомогою прямого вводу-виводу, як запропонував Вілл Кроуфорд, повинен бути хорошим вирішенням.

Крім того, ви можете просто регулярно обробляти кеш файлів за допомогою відлуння 1або 3до /proc/sys/vm/drop_cachesпсевдофайлу, перш ніж ОС вважає, що це гарна ідея замінити свої GUI-програми та оточення.

Див. Як випорожнюєте буфери та кеш у системі Linux? для деталей.

¹ _{Невикористаний у значенні: більше не використовується активно протягом значного періоду часу, пам'ять як і раніше має відношення до його власників.}
² _{Поставте назад на сторінки ОЗУ, що зберігаються на ділянці підкачки.}

Це процес, за допомогою якого ви виконуєте щось, що ви створили самі?

Якщо це так, можливо, варто налаштувати ваш код, щоб відкрити файли за допомогою O_DIRECTпрапора, які цитують сторінку керівництва -

Спробуйте звести до мінімуму ефекти кешу вводу / виводу на цей файл і з нього. Загалом це погіршить продуктивність, але це корисно в особливих ситуаціях, наприклад, коли програми роблять кешування самостійно. Введення / виведення файлів виконується безпосередньо в / з буферів простору користувача. Прапор O_DIRECT самостійно докладає зусиль для передачі даних синхронно, але не дає гарантій прапора O_SYNC щодо передачі даних та необхідних метаданих. Для забезпечення синхронного вводу-виводу, крім O_DIRECT, слід використовувати O_SYNC. Див. ПРИМІТКИ нижче для подальшого обговорення.

Ось ідея, яку я ще не пробував (і мені дуже шкода, що зараз не встиг експериментувати з цим).

Припустимо, ви створили невеликий VM з пам'яттю лише 512 Мб для вашого фонового процесу. Я не впевнений, чи хочете ви, щоб у вас відбувся будь-який своп, ваш дзвінок та вимкнено своп у вашій хост-системі.

Видаліть своп або зменшіть його приблизно на 20% ( може змінюватися залежно від систем ), оскільки останнім часом ОС вже не використовують своп так само, як це було зроблено за кілька років тому. Це, ймовірно, відповідає на ваше запитання:

-> офіційний redhat.com

деякі відомості про Червону Шапочку нижче,

Раніше деякі постачальники програм рекомендували проводити заміну розміром, рівним ОЗУ, або навіть вдвічі більше ОЗУ. Тепер давайте уявимо вищезгадану систему з 2 Гб оперативної пам’яті та 2 ГБ свопу. База даних у системі була помилково налаштована для системи з 5 Гб оперативної пам’яті. Як тільки фізична пам'ять буде використана, своп звикає. Оскільки диск із свопом значно повільніше, ніж оперативна пам'ять, продуктивність знижується, і відбувається обмолот. У цей момент навіть вхід у систему може стати неможливим. Коли все більше і більше пам'яті записується, з часом фізична та обмінна пам'ять повністю вичерпуються, і вбивця OOM запускається, вбиваючи один або кілька процесів. У нашому випадку доступно досить багато свопів, тому час низької продуктивності довгий.

і

https://wiki.debian.org/Swap

частина посилання Debian вище,

Інформація та міркування, пов’язані із сумою свопу для використання:

"Рекомендований об'єм місця для обміну традиційно вдвічі перевищує об'єм системної пам'яті. Це з часом змінилося в півтора рази системну пам'ять, обидві відповіді є пристойними базовими рівнями, але з часом стає все менше і менш корисними відповідями на питання. Існує багато змінних щодо вашої системи та призначеного використання, які визначатимуть наявний у вас системний своп ".

Ви можете спробувати:

"Найкращий спосіб відключити swap в Linux"

Особиста примітка:

Так як у мене є 6 Гб оперативної пам’яті та в усіх моїх нещодавно ОС Linux. Я ніколи не бачив жодних ознак використання Swap. Я визначив це, я мушу вимкнути його або для простору (на кілька гігабайт більше), і тому, що іноді він уповільнює роботу моєї системи.