Статистичні моделі для локальної пам'яті / обчислень, затримки в мережі та тремтіння пропускної здатності в HPC

Паралельні обчислення часто моделюються за допомогою детермінованої локальної швидкості обчислень, затримки накладних витрат та пропускної здатності мережі. Насправді це просторово мінливі та недетерміновані. Такі дослідження, як Скіннер та Крамер (2005), спостерігають мультимодальні розподіли, але, здається, аналіз ефективності завжди використовує або детерміновані, або гауссові розподіли (не просто неточні, він непослідовний через позитивну ймовірність негативної затримки).

Чи були розроблені статистичні моделі вищої точності? Чи є які-небудь рахунки для перехресної кореляції в локальній обчислювальній / пам'яті, затримці та змінної пропускної здатності?

З точки зору інформатики, я не думаю, що має сенс робити загальну статистичну модель щодо часу доступу до пам'яті (затримки) та пропускної здатності пам'яті.

Має сенс створити статистичну модель для алгоритму . Це пов'язано з тим, що кожен алгоритм має специфічну схему доступу до пам'яті, шаблони доступу до пам'яті мають відношення до ієрархії кешу, наприклад, алгоритм з високою локальністю даних скористається перевагами кешів низького рівня, використовуючи дуже швидкий час доступу до пам'яті, тоді як інші алгоритми повинні будуть пройти весь шлях до оперативної пам’яті (або, навіть, найгірше, обмін пам'яті) і мати надзвичайно повільний час доступу.

Значення загального призначення задані з точки зору архітектури, ви можете перевірити свою архітектуру та шукати час доступу з заданого ядра до заданого місця пам'яті (скажімо, кеш-пам'ять L3). Майте на увазі, що останні архітектури - це неоднорідний доступ до пам'яті NUMA, що зробить вашу роботу трохи складніше.