Чи слід використовувати GPU або CPU для висновку?

Я керую нейронною мережею з глибоким навчанням, яку пройшов навчання GPU. Тепер я хочу розгорнути це для декількох хостів для висновку. Питання полягає в тому, які умови вирішують, чи слід використовувати GPU або CPU для висновку?

Додайте більше деталей із коментарів нижче.

Я новачок у цьому, тому цінуються вказівки.

• Пам'ять : GPU - це K80

• Framework : Cuda і cuDNN

• Розмір даних на навантаження : 20G

• Обчислювальні вузли для споживання : по одному на роботу, хоча хотіли б розглянути варіант масштабу

• Вартість : Я можу дозволити собі варіант GPU, якщо причини мають сенс

• Розгортання : працює на власних розміщених серверах голого металу, а не в хмарі.

Зараз я працюю на процесорі просто тому, що програма працює добре. Але поза цією причиною я не впевнений, чому б навіть розглянути GPU.

@Dan @SmallChess, я не повністю згоден. Це правда, що для тренувань багато паралелізації можуть використовуватися GPU, що призводить до набагато швидшого навчання. Для висновку ця паралалізація може бути набагато меншою, однак CNN все одно отримає перевагу від цього, що призведе до більш швидкого висновку. Тепер ви просто повинні запитати себе: чи важливіший швидший висновок? Чи хочу я отримати додаткові залежності (хороший графічний процесор, встановлені правильні файли тощо)?

Якщо швидкість не проблема, перейдіть на процесор. Однак зауважте, що GPU може зробити це на порядок швидше, на мій досвід.

Виконання висновку на графічному процесорі замість процесора дозволить вам наблизитись до того ж прискорення, що і на тренуванні, менше трохи для накладних витрат на пам'ять.

Однак, як ви вже говорили, програма працює нормально на процесорі. Якщо ви дістанетесь до точки, коли швидкість виведення є вузьким місцем у програмі, оновлення до GPU зменшить це вузьке місце.

Ви використовуєте GPU лише для тренувань, оскільки глибоке навчання потребує масивного розрахунку, щоб досягти оптимального рішення. Однак для розгортання вам не потрібні GPU-машини .

Візьмемо для прикладу новий iPhone X від Apple. Новий iPhone X має вдосконалений алгоритм машинного навчання факсичного виявлення. Співробітники Apple повинні мати скупчення машин для навчання та валідації. Але вашому iPhone X не потрібен графічний процесор для просто запущеної моделі.