Чому CUDA закріплює пам’ять так швидко?

Я спостерігаю значні прискорення передачі даних, коли використовую закріплену пам’ять для передачі даних CUDA. У Linux основним системним викликом для досягнення цього є mlock. На сторінці користувача mlock зазначено, що блокування сторінки не дозволяє її замінити:

mlock () блокує сторінки в діапазоні адрес, починаючи з addr і продовжуючи довгий байт. Усі сторінки, які містять частину зазначеного діапазону адрес, гарантовано залишатимуться в оперативній пам'яті, коли дзвінок успішно повернеться;

У моїх тестах у мене було кілька концертів вільної пам'яті в моїй системі, тому ніколи не було ризику того, що сторінки пам'яті могли бути замінені, але я все ще спостерігав пришвидшення. Хто-небудь може пояснити, що насправді тут відбувається?, Будь-яка інформація та інформація дуже цінуються.

Драйвер CUDA перевіряє , якщо діапазон пам'яті заблокований чи ні, і тоді він буде використовувати інший шлях шляху. Заблокована пам'ять зберігається у фізичній пам'яті (ОЗУ), тому пристрій може отримати її без допомоги CPU (DMA, вона ж асинхронна копія; пристрій потребує лише списку фізичних сторінок). Незаблокована пам’ять може спричинити помилку сторінки при доступі, і вона зберігається не тільки в пам’яті (наприклад, вона може бути заміненою), тому драйверу потрібно отримати доступ до кожної сторінки незаблокованої пам’яті, скопіювати її в закріплений буфер і передати до DMA (синхронізована, копіювання сторінки за сторінкою).

Як описано тут http://forums.nvidia.com/index.php?showtopic=164661

пам'ять хоста, що використовується асинхронним викликом копіювання пам'яті, повинна бути заблокована сторінками через cudaMallocHost або cudaHostAlloc.

Я також можу порекомендувати перевірити посібники cudaMemcpyAsync та cudaHostAlloc на веб-сайті developer.download.nvidia.com. HostAlloc каже, що драйвер Cuda може виявити закріплену пам'ять:

Драйвер відстежує діапазони віртуальної пам'яті, виділені за допомогою цієї функції (cudaHostAlloc), і автоматично прискорює виклики таких функцій, як cudaMemcpy ().

CUDA використовує DMA для передачі закріпленої пам'яті на графічний процесор. Пам'ять хоста, що переноситься на сторінку, не може використовуватися з DMA, оскільки вона може знаходитися на диску. Якщо пам'ять не закріплена (тобто заблокована сторінкою), її спочатку копіюють у заблокований сторінкою буфер "проходження", а потім копіюють на графічний процесор через DMA. Таким чином, використовуючи закріплену пам’ять, ви економите час на копіювання зі сховища хост-пам’яті в заблоковану сторінку пам’ять хоста.

Якщо сторінки пам'яті ще не були доступні, їх, мабуть, ніколи не міняли місцями для початку . Зокрема, нещодавно виділені сторінки будуть віртуальними копіями універсальної "нульової сторінки" і не матимуть фізичної інстанції, доки на них не буде записано. Нові карти файлів на диску також залишатимуться суто на диску, доки вони не будуть прочитані чи записані.