Вибір між процесором та графічним процесором для навчання нейронної мережі

Я бачив дискусії з приводу "накладних витрат" GPU, і що для "малих" мереж тренування на процесорі (або мережі процесорів) може бути швидше, ніж на графічному процесорі.

Що означає «малий»?

Наприклад, чи буде одношаровий MLP зі 100 прихованими одиницями "малим"?

Чи змінюється наше визначення "малої" для періодичних архітектур?

Чи є якісь інші критерії, які слід враховувати, вирішуючи, чи тренуватись на процесорі чи GPU?

EDIT 1:

Щойно я знайшов повідомлення в блозі (можливо, застарів? Це з 2014 року):

"... Більшість мережевих карт (ив) працюють лише з пам'яттю, яка зареєстрована в процесорі, і передача GPU на GPU між двома вузлами виглядатиме так: GPU 1 до CPU 1 до Network Card 1 до Network Card 2 до CPU 2 2 до GPU 2. Це означає, що якщо вибираєте повільну мережеву карту, то не може бути жодного прискорення роботи на одному комп’ютері. Навіть при швидких мережевих картах, якщо кластер великий, не можна отримати навіть прискорення з графічних процесорів у порівнянні до процесорів, оскільки графічні процесори просто працюють надто швидко, щоб мережеві карти не відставали від них.

Це причина, чому багато великих компаній, таких як Google і Microsoft, використовують CPU, а не GPU кластери для навчання своїх великих нейронних мереж. "

Тож у якийсь момент, згідно з цим повідомленням, можна було б швидше використовувати процесори. Це все-таки так?

EDIT 2: Так, ця публікація в блозі може бути застарілою, оскільки:

Зараз здається, що графічні процесори в вузлі підключені через шину PCIe, тому зв’язок може відбуватися близько 6 Гбіт / с. (Наприклад: https://www.youtube.com/watch?v=el1iSlP1uOs , близько 35 хвилин). Доповідач означає, що це швидше, ніж перехід від GPU1 до процесора до GPU2. Це означало б, що мережева карта вже не вузьке місце.

На відміну від деяких інших відповідей, я б дуже радив не завжди тренуватися на графічних процесорах без жодної другої думки. Це зумовлене використанням методів глибокого вивчення зображень та текстів, де дані дуже багаті (наприклад, багато пікселів = багато змінних), а модель також має багато мільйонів параметрів. Для інших доменів це може бути не так.

Що означає «малий»? Наприклад, чи буде одношаровий MLP зі 100 прихованими одиницями "малим"?

Так, це, безумовно, дуже мало за сучасними мірками. Якщо у вас не буде ідеально підходить GPU для навчання (наприклад, NVIDIA 1080 або NVIDIA Titan), я не здивуюся, коли ваш процесор був швидшим.

Зауважте, що складність вашої нейронної мережі також залежить від вашої кількості вхідних функцій, а не лише від кількості одиниць у вашому прихованому шарі. Якщо у вашому прихованому шарі є 100 одиниць і кожне спостереження у вашому наборі даних має 4 функції введення, то ваша мережа крихітна (~ 400 параметрів). Якщо кожне спостереження замість цього має 1М вхідні функції, як у деяких медичних / біотехнологічних контекстах, то ваша мережа досить велика за кількістю параметрів. У решті моєї відповіді я припускаю, що у вас є дуже мало функцій введення pr. спостереження.

Хороший приклад, який я знайшов, коли я порівнював ефективність процесора з графічним процесором, - це коли я тренував покерного бота з використанням підкріплення. Для вивчення підкріплення вам часто не потрібно стільки шарів у вашій нейронній мережі, і ми виявили, що нам потрібно лише кілька шарів з малою кількістю параметрів. Більше того, кількість вхідних функцій була досить низькою. Спочатку я навчався на графічному процесорі (NVIDIA Titan), але це зайняло багато часу, оскільки навчання для посилення вимагає багато ітерацій. На щастя, я виявив, що тренування на моєму процесорі замість цього зробило моє навчання 10 разів швидшим! Це просто означає, що процесори іноді можуть бути кращими для навчання.

Чи є якісь інші критерії, які слід враховувати, вирішуючи, чи тренуватись на процесорі чи GPU?

Важливо зауважити, що перебуваючи на GPU, ви завжди хочете заповнити всю пам'ять GPU, збільшивши розмір своєї партії, що не стосується процесора. На процесорі збільшення розміру партії збільшить час pr. партія. Тому, якщо вам важливо мати дуже великий розмір партії (наприклад, через дуже галасливий сигнал), може бути корисним використання GPU. Я цього ще не відчував на практиці, хоча і, як правило, віддається перевагу невеликим розмірам партії.

Центральний процесор - менеджер філії, він може все трохи зробити, але він не дуже великий, крім делегування завдань. Однак GPU - це відданий математик, який ховається у вашій машині. Якщо ви робите якісь важкі математичні процеси, то вам слід використовувати свій графічний процес. Завжди.

Якщо ви використовуєте будь-яку популярну мову програмування для машинного навчання, наприклад, python або MATLAB, це однолінійний код, щоб повідомити вашому комп'ютеру, що ви хочете, щоб операції виконувалися на вашому графічному процесорі.

Ви також повинні обов'язково використовувати всі ядра машини. Це означає використання паралельних обчислень. Особливо для нейронних мереж, де операції можна виконувати самостійно, це значно збільшить вашу швидкість.

Спочатку я посилаюся на кілька цитат із подібних питань:

Що стосується матричних операцій, ви не думаєте двічі, завжди вибираєте GPU. джерело

‌

Паралельна архітектура в GPU добре пристосована для векторних та матричних операцій. джерело

Тож якщо ви прочитаєте ці запитання, то побачите, що вони радять використовувати GPU незалежно від випадку; це завжди забезпечить певне вдосконалення.

Причина, по якій ви могли прочитати, що «малі» мережі повинні навчатися з процесором, полягає в тому, що впровадження навчання GPU лише для невеликої мережі може зайняти більше часу, ніж просто навчання з процесором - це не означає, що GPU буде повільнішим.

100-прихована одинична мережа така собі невелика , я б назвав її маленькою мережею відносно великих глибоких мереж там. Поточні архітектури (здебільшого) мають більше синапсів, що передаються вперед мережами подачі, тому 100-приховані одиниці RNN "більше", ніж 100-прихована одиниця FFN.