Я працюю в середовищі, де обчислювальні ресурси діляться, тобто у нас є кілька серверних машин, оснащених кількома графічними процесорами Nvidia Titan X кожен.

Для моделей невеликого та середнього розміру, 12 Гбайт Titan X, як правило, достатньо для 2–3 людей, щоб одночасно тренуватись на одному графічному графіку. Якщо моделі досить малі, що одна модель не використовує в повній мірі всі обчислювальні одиниці GPU, це фактично може призвести до прискорення порівняно з запуском одного навчального процесу за іншим. Навіть у випадках, коли паралельний доступ до GPU уповільнює індивідуальний час навчання, все одно приємно мати гнучкість того, що декілька користувачів одночасно навчаються на GPU.

Проблема з TensorFlow полягає в тому, що він за замовчуванням виділяє повний об'єм наявної пам’яті GPU під час її запуску. Навіть для невеликої двошарової нейронної мережі я бачу, що всі 12 ГБ пам’яті GPU витрачено.

Чи є спосіб зробити так, щоб TensorFlow виділив, скажімо, 4 Гб пам'яті GPU, якщо хтось знає, що цього достатньо для даної моделі?

Ви можете встановити частку пам'яті GPU, яка повинна виділятися при конструюванні a tf.Session, передаючи a tf.GPUOptionsяк частина необов'язкового configаргументу:

# Assume that you have 12GB of GPU memory and want to allocate ~4GB:
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)

sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))

У per_process_gpu_memory_fractionдіє як жорсткий верхня межа обсягу пам'яті GPU , яка буде використовуватися в процесі на кожному GPU на тій же машині. В даний час ця частка застосовується рівномірно до всіх графічних процесорів на одній машині; немає можливості встановити це на основі GPU.

config = tf.ConfigProto()
config.gpu_options.allow_growth=True
sess = tf.Session(config=config)

https://github.com/tensorflow/tensorflow/isissue/1578

Ось уривок із Книги Deep Learning with TensorFlow

У деяких випадках для процесу бажано виділити лише підмножину наявної пам’яті або лише збільшити використання пам’яті в міру необхідності процесу. TensorFlow надає два варіанти конфігурації сеансу для керування цим. Перший - це allow_growthваріант, який намагається виділити лише стільки пам’яті GPU на основі розподілу часу виконання, він починає виділяти дуже мало пам’яті, і коли сеанси запускаються і потрібно більше пам’яті GPU, ми розширюємо область пам’яті GPU, необхідну TensorFlow процес.

1) Дозволити зростання: (більш гнучка)

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config, ...)

Другий метод - це per_process_gpu_memory_fractionваріант, який визначає частку загального обсягу пам'яті, який eachповинен виділяти видимий GPU. Примітка: звільнення пам'яті не потрібно, це може навіть погіршити фрагментацію пам'яті, коли буде зроблено.

2) Виділити фіксовану пам'ять :

Виділити 40%загальну пам'ять кожного GPU можна лише за допомогою:

config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.4
session = tf.Session(config=config, ...)

Примітка. Це корисно, хоча якщо ви дійсно хочете прив’язати об'єм пам'яті GPU, доступного в процесі TensorFlow.

Оновлено для TensorFlow 2.0 Alpha та новіших версій

З Документів 2.0 Альфа, відповідь - це лише один рядок, перш ніж робити що-небудь з TensorFlow:

import tensorflow as tf
tf.config.gpu.set_per_process_memory_growth(True)

Усі відповіді вище припускають виконання за допомогою sess.run()виклику, який стає винятком, а не правилом в останніх версіях TensorFlow.

При використанні tf.Estimatorфреймворку (TensorFlow 1.4 і вище) спосіб передачі дробу до створюваного неявно MonitoredTrainingSession,

opts = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)
conf = tf.ConfigProto(gpu_options=opts)
trainingConfig = tf.estimator.RunConfig(session_config=conf, ...)
tf.estimator.Estimator(model_fn=..., 
                       config=trainingConfig)

Аналогічно в режимі Eager (TensorFlow 1.5 і вище),

opts = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)
conf = tf.ConfigProto(gpu_options=opts)
tfe.enable_eager_execution(config=conf)

Редагувати: 11-04-2018 Як приклад, якщо ви хочете використовувати tf.contrib.gan.train, ви можете використовувати щось подібне нижче:

tf.contrib.gan.gan_train(........, config=conf)

Для Tensorflow версій 2.0 та 2.1 використовуйте наступний фрагмент :

 import tensorflow as tf
 gpu_devices = tf.config.experimental.list_physical_devices('GPU')
 tf.config.experimental.set_memory_growth(gpu_devices[0], True)

Для попередніх версій для мене працював наступний фрагмент:

import tensorflow as tf
tf_config=tf.ConfigProto()
tf_config.gpu_options.allow_growth=True
sess = tf.Session(config=tf_config)

Tensorflow 2.0 Beta і (ймовірно) за її межами

API знову змінився. Зараз його можна знайти в:

tf.config.experimental.set_memory_growth(
    device,
    enable
)

Псевдоніми:

• tf.compat.v1.config.experimental.set_memory_growth
• tf.compat.v2.config.experimental.set_memory_growth

Список літератури:

• https://www.tensorflow.org/versions/r2.0/api_docs/python/tf/config/experimental/set_memory_growth
• https://www.tensorflow.org/guide/gpu#limiting_gpu_memory_growth

Дивіться також: Tensorflow - Використовуйте GPU : https://www.tensorflow.org/guide/gpu

для Tensorflow 2.0 Alpha див. цю відповідь

Можна використовувати

TF_FORCE_GPU_ALLOW_GROWTH=true

у вашому змінному середовищі.

У тензорфловому коді:

bool GPUBFCAllocator::GetAllowGrowthValue(const GPUOptions& gpu_options) {
  const char* force_allow_growth_string =
      std::getenv("TF_FORCE_GPU_ALLOW_GROWTH");
  if (force_allow_growth_string == nullptr) {
    return gpu_options.allow_growth();
}

Безсоромний штекер: Якщо ви встановите Tensorflow, підтримуваний графічним процесором, спочатку сеанс виділить увесь GPU, незалежно від того, встановите ви його для використання лише CPU або GPU. Я можу додати підказку, що навіть якщо ви налаштуєте графік використовувати лише процесор, ви повинні встановити ту саму конфігурацію (як відповів вище :)), щоб запобігти небажаному заняттю GPU.

І в такому інтерактивному інтерфейсі, як IPython, ви також повинні встановити цю конфігурацію, інакше вона виділить усю пам'ять і майже не залишить інших. Іноді це важко помітити.

Для Tensorflow 2.0 це рішення працювало для мене. (TF-GPU 2.0, Windows 10, GeForce RTX 2070)

physical_devices = tf.config.experimental.list_physical_devices('GPU')
assert len(physical_devices) > 0, "Not enough GPU hardware devices available"
tf.config.experimental.set_memory_growth(physical_devices[0], True)

Якщо ви використовуєте Tensorflow 2, спробуйте наступне:

config = tf.compat.v1.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.compat.v1.Session(config=config)

Я намагався навчити мережу набору даних для голосу, але через величезний розмір зображення, пам'ять закінчується. Я спробував усі вищевказані поради, навіть спробував розмір партії == 1, але не покращився. іноді версія TensorFlow також викликає проблеми з пам'яттю. спробуйте, використовуючи

pip встановити tensorflow-gpu == 1.8.0

Ну, я новачок у tensorflow, у мене Geforce 740m чи щось таке GPU з 2 ГБ оперативної пам’яті, я використовував рукописний приклад mnist для рідної мови з навчальними даними, що містять 38700 зображень та 4300 тестуючих зображень і намагався отримати точність, нагадайте, F1, використовуючи наступний код як sklearn, не давав мені точних результатів. як тільки я додав це до свого існуючого коду, я почав отримувати помилки GPU.

TP = tf.count_nonzero(predicted * actual)
TN = tf.count_nonzero((predicted - 1) * (actual - 1))
FP = tf.count_nonzero(predicted * (actual - 1))
FN = tf.count_nonzero((predicted - 1) * actual)

prec = TP / (TP + FP)
recall = TP / (TP + FN)
f1 = 2 * prec * recall / (prec + recall)

плюс моя модель була важка, я здогадуюсь, я отримував помилку пам'яті після 147, 148 епох, і тоді я подумав, чому б не створити функції для завдань, тому я не знаю, чи працює вона таким чином в tensrorflow, але я подумав, якщо локальна змінна Якщо ви не використовуєте рамки, це може звільнити пам'ять, і я визначив вищезазначені елементи для навчання та тестування в модулях, я зміг досягти 10000 епох без жодних питань, сподіваюся, це допоможе.

# allocate 60% of GPU memory 
from keras.backend.tensorflow_backend import set_session
import tensorflow as tf 
config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.6
set_session(tf.Session(config=config))