Очистіть кеш файлу, щоб повторити тестування продуктивності

Які інструменти чи методи я можу використовувати, щоб видалити вміст файлу, кешований, щоб запобігти перекосу моїх результатів? Я вважаю, що мені потрібно або повністю очистити, або вибірково видалити кешовану інформацію про вміст файлів і каталогів.

Додаток, який я розробляю, - це спеціалізована утиліта для стиснення, і, як очікується, виконає багато роботи з читання та запису файлів, яких операційна система не торкнулася останнім часом, і чиї дискові блоки навряд чи будуть кешовані.

Я хочу видалити мінливість, яку я бачу в IO час, коли я повторюю завдання з профілювання різних стратегій виконання роботи з обробкою файлів.

Мене насамперед цікавлять рішення для Windows XP, оскільки це моя основна машина для розробки, але я також можу перевірити, використовуючи Linux, і тому мене цікавлять відповіді і для цього середовища.

Я спробував SysInternals CacheSet , але натискання кнопки «Очистити» не призводить до помітного збільшення (відновлення часу після холодного завантаження), щоб перечитати файли, які я прочитав лише кілька разів.

Використовуйте додаток RAMMap SysInternal .

Параметр меню "Порожній / порожній режим очікування" очистить кеш файлу Windows.

У Windows XP ви маєте змогу очистити кеш певного файлу, відкривши файл за допомогою CreateFile за допомогою параметрів FILE_FLAG_NO_BUFFERING, а потім закривши ручку. Це не задокументовано, і я не знаю, чи працює він на пізніших версіях Windows, але це я давно використовував при написанні тестового коду для порівняння бібліотек стиснення файлів. Я не пам'ятаю, чи впливав на цей трюк доступ читання чи запису.

Швидкий гугл дає ці параметри для Linux

1. Демонтуйте та змонтуйте розділ, що містить файли
2. sync && echo 1 > /proc/sys/vm/drop_caches

Утиліта командного рядка наведено тут

з джерела:

EmptyStandbyList.exe це інструмент командного рядка для Windows (Vista та новіші версії), який може спорожнити:

• технологічні робочі набори,
• змінений список сторінок,
• списки очікування (пріоритети від 0 до 7), або
• лише пріоритетний список 0 в режимі очікування

Використання:

EmptyStandbyList.exe workingsets|modifiedpagelist|standbylist|priority0standbylist

 #include <fcntl.h>

int posix_fadvise(int fd, off_t offset, off_t len, int advice);

з варіантом поради POSIX_FADV_DONTNEED: до
зазначених даних найближчим часом не можна буде отримати доступ.

Я знайшов одну техніку (крім перезавантаження), яка, здається, працює:

1. Виконайте кілька копій MemAlloc
2. Кожному з них виділяйте по кілька разів великі шматки пам’яті
3. Використовуйте Провідник процесів, щоб спостерігати за зменшенням розміру кешу системи до дуже низьких рівнів
4. Закрийте програми MemAlloc

Однак це не вибірково. В ідеалі я хотів би мати можливість очистити конкретні частини пам'яті, які використовуються для кешування блоків дисків файлів, які я більше не хочу кешувати.

Для набагато кращого перегляду кешу файлової системи Windows XP - спробуйте ATM від Тіма Мергента - він дозволяє переглядати як кеш файлової системи робочий набір, так і розмір списку очікування у більш детальному та точному поданні. Для Windows XP - вам потрібна стара версія 1 банкомату, яка доступна для завантаження тут, оскільки для V2 та V3 потрібні Server 2003, Vista або новіші версії .

Ви помітите, що хоча Cacheset Sysinternals зменшить "Cache WS Min" - фактичні дані все ще продовжують існувати у вигляді списків очікування, звідки їх можна використовувати, поки не буде замінено чимось іншим. Щоб потім замінити його чимось іншим, скористайтеся таким інструментом, як MemAlloc або flushmem Чада Остіна або Consume.exe, з Інструментів набору ресурсів Windows Server 2003 .

Оскільки питання також попросив Linux, є споріднений відповідь тут .

Інструмент командного рядка vmtouch дозволяє, крім іншого, додавати та видаляти файли та каталоги з кешу системних файлів.

Існує виклик API API https://docs.microsoft.com/en-us/windows/desktop/api/memoryapi/nf-memoryapi-setsystemfilecachesize, який можна використовувати для очищення кешу файлової системи. Він також може бути використаний для обмеження розміру кешу до дуже малого значення. Виглядає ідеально для таких видів тестів.