Різні версії CUDA, показані nvcc та NVIDIA-smi

Мене дуже бентежать різні версії CUDA, показані запуском which nvccта nvidia-smi.

На моєму ubuntu 16.04 встановлені як cuda9.2, так і cuda10. Тепер я встановив PATH вказувати на cuda9.2. Отже, коли я біжу:

 $ which nvcc
 /usr/local/cuda-9.2/bin/nvcc

Однак коли я біжу

$ nvidia-smi
Wed Nov 21 19:41:32 2018       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 410.72       Driver Version: 410.72       CUDA Version: 10.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 106...  Off  | 00000000:01:00.0 Off |                  N/A |
| N/A   53C    P0    26W /  N/A |    379MiB /  6078MiB |      2%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0      1324      G   /usr/lib/xorg/Xorg                           225MiB |
|    0      2844      G   compiz                                       146MiB |
|    0     15550      G   /usr/lib/firefox/firefox                       1MiB |
|    0     19992      G   /usr/lib/firefox/firefox                       1MiB |
|    0     23605      G   /usr/lib/firefox/firefox                       1MiB |

Тож я використовую cuda9.2, як which nvccпропонується, чи використовую cuda10, як nvidia-smiпропонується?

Я бачив цю відповідь, але вона не дає прямої відповіді на плутанину, вона просто просить нас перевстановити cudatoolkit, що я вже зробив.

CUDA має 2 основних API, середовища виконання та API драйверів. Обидва мають відповідну версію (наприклад, 8.0, 9.0 тощо)

Необхідна підтримка API драйвера (наприклад, libcuda.so в Linux) встановлюється установчиком драйвера GPU.

Необхідна підтримка API виконання (наприклад, libcudart.so на linux, а також nvcc) встановлюється програмою встановлення набору інструментів CUDA (яка також може мати в комплекті інсталятор драйвера GPU).

У будь-якому випадку, версія (встановленого) драйвера API може не завжди відповідати (встановленій) версії API виконання, особливо якщо ви встановлюєте драйвер графічного процесора незалежно від встановлення CUDA (тобто набору інструментів CUDA).

nvidia-smiІнструмент інсталюється монтажником драйвера GPU, і , як правило , має драйвер GPU в режимі, не що - то встановлений монтажником CUDA Toolkit.

Нещодавно (десь між версіями драйверів 410.48 і 410.73 на Linux) можливі повноваження NVIDIA вирішили додати звітність про версію драйвера API CUDA, встановлену драйвером, у вихідні дані з nvidia-smi.

Це не має зв’язку з інстальованою версією середовища виконання CUDA.

nvcc, інструмент драйвера компілятора CUDA, інстальований із набором інструментів CUDA, завжди повідомляє про версію середовища виконання CUDA, яку він був побудований для розпізнавання. Він нічого не знає про те, яка версія драйвера встановлена, або навіть якщо встановлений драйвер графічного процесора.

Тому за дизайном ці два числа не обов’язково збігаються, оскільки вони відображають дві різні речі.

Якщо вам цікаво, чому nvcc -Vвідображається версія CUDA, на яку ви не очікували (наприклад, вона відображає версію, відмінну від тієї, яку ви вважаєте встановленою), або взагалі нічого не відображає, мудро, можливо, тому, що ви виконував обов’язкові вказівки на кроці 7 (до CUDA 11) (або кроці 6 у посібнику з встановлення Linux CUDA 11) керівництва по установці cuda linux

Зауважте, що, хоча це питання здебільшого має на увазі Linux, ті самі поняття стосуються встановлення Windows CUDA. З драйвером пов’язана версія драйвера CUDA (яку можна nvidia-smi, наприклад, запитувати ). Виконавець CUDA також має пов'язану з ним версію середовища виконання CUDA. Це не обов’язково збігатиметься у всіх випадках.

У більшості випадків, якщо nvidia-smiповідомляється про версію CUDA, яка чисельно дорівнює або перевищує версію, про яку повідомляється nvcc -V, це не викликає занепокоєння. Це визначений шлях сумісності в CUDA (новіші драйвери / API драйверів підтримують «старіші» набори інструментів CUDA / API виконання). Наприклад, якщо nvidia-smiзвіти CUDA 10.2 та nvcc -Vзвіти CUDA 10.1, це, як правило, не викликає занепокоєння. Це повинно просто працювати, і це не обов'язково означає, що ви "фактично встановили CUDA 10.2, коли мали намір встановити CUDA 10.1"

Якщо nvccкоманда взагалі нічого не повідомляє (наприклад Command 'nvcc' not found...), це також може бути пов'язано з неправильною інсталяцією CUDA, тобто обов'язкові кроки, згадані вище, були виконані неправильно. Ви можете почати з’ясовувати це за допомогою утиліти linux, наприклад, findабо locate(використовуйте сторінки користувача, щоб дізнатися, як це зробити, будь ласка), щоб знайти свій nvccвиконуваний файл. Якщо припустити, що існує лише один, шлях до нього можна використовувати для виправлення змінної середовища PATH.

nvccзнаходиться в папці смітника CUDA - як такий перевірте, чи папку смітника CUDA додано до вашої $PATH.

Зокрема, переконайтеся, що ви виконували дії CUDA після встановлення (наприклад, звідси ):

1. Додайте контейнер CUDA $PATH(тобто додайте наступний рядок до свого ~/.bashrc)

export PATH=/usr/local/cuda-10.1/bin:/usr/local/cuda-10.1/NsightCompute-2019.1${PATH:+:${PATH}}

PS. Переконайтеся, що наведені вище два шляхи існують спочатку: /usr/local/cuda-10.1/binі /usr/local/cuda-10.1/NsightCompute-2019.1(шлях NsightCompute може мати дещо інше закінчення залежно від встановленої версії обчислення Nsight ...

2. Оновіть $LD_LIBRARY_PATH(тобто додайте наступний рядок до свого ~/bashrc).

export LD_LIBRARY_PATH=/usr/local/cuda-10.1/lib64\
                         ${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

Після цього обидва nvccта nvidia-smi(або nvtop) повідомляють про одну і ту ж версію CUDA ...

Якщо ви використовуєте Cuda 10.2:

export PATH=/usr/local/cuda-10.2/bin:/opt/nvidia/nsight-compute/2019.5.0${PATH:+:${PATH}}

може допомогти, тому що коли я перевірив, у cuda-10.2 не було каталогу для nsight-compute. Я не впевнений, що це була проблема лише зі мною, інакше чому б вони не згадували про це в офіційній документації.