Помилка пам'яті при використанні більше шарів у моделі CNN

На моєму ядро Dell i7 - 16 ГБ оперативної пам’яті - 4 ГБ 960 м графічного процесора, я працюю над проектом, щоб класифікувати зображення легких КТ за допомогою 3D-CNN. Я використовую версію процесора tensorflow. Зображення готуються у вигляді масивного масиву (25,50,50).

У моїй моделі CNN було 2 шари конвеєра, два макспул-шару, один шар FC і вихідний шар. Завдяки цій архітектурі я міг би навчити модель приблизно (від 5000 до 6000) зразків. Після додавання більше шарів у моєї моделі тепер є 6 шарів conv, 3 максимум шару пулу, FC та вихідний шар. Моя проблема полягає в тому, що після зміни архітектури з більш ніж 1000 зразками моя пам'ять заповнюється, і я отримую помилку пам'яті. Я намагався робити менші партії, але щоразу отримував однакові помилки. У мене є два питання:

Чому додаючи більше шарів, моделі потрібно більше пам’яті?
Чи є спосіб вирішити цю проблему?

python tensorflow cnn

— Хунар А.Ахмед
джерело

Це, мабуть, тому, що у вас багато параметрів, і за замовчуванням ваш GPU використовується для обчислень, а 4 Гб може не відповідати ..

— Aditya

Я використовую версію процесора tensorflow, а не GPU

— Hunar A.Ahmed

Відповіді:

Більше шарів означає більше параметрів для вашої мережі, що в свою чергу означає більше необхідного місця в пам'яті для зберігання цих параметрів.
Єдине рішення (крім збільшення пам'яті комп'ютера) - зменшення розміру вашої мережі. Кілька покажчиків на це: По-перше, 3-D CNN потребують значно більше місця, ніж 2-D. Однією з ідей може бути перехід до двовимірної. Крім цього, шари з найбільшою кількістю параметрів - це FC. Вони іноді є зайвими. Я б запропонував зменшити розмір спочатку.

— MzdR
джерело

Я думаю, що 3d CNN дає кращу точність, ніж 2d, для цього я використовував 3d CNN. кількість вузлів у моєму шарі FC становить 1024, ви маєте на увазі зменшення цього? це не впливає на точність?

— Хунар А.Ахмед

Кількість нейронів (або виходів) у вашому шарі FC становить . Якщо, скажімо, його вхідними даними є ще , то загальна кількість параметрів складе або приблизно мільйона параметрів. Це велика кількість параметрів для одного шару. Для іншого прикладу ви можете подивитися архітектуру VGG19, яка має параметрів, м яких належать до одного шару FC.

1024

$1024$

2048

$2048$

2048 \cdot 1024 + 1024

$2048 \cdot 1024 + 1024$

2.1

$2.1$

140 m

$140m$

100 m

$100m$

— MzdR

Додавши до точки MzdR, яку ви зробили , ви також можете спробувати використовувати генератори. Оскільки вам не справді буде потрібно, щоб усі ваші зображення зберігалися в пам'яті під час тренувань, я думаю, що генератор повинен добре працювати.

Перевірте це запитання з stackoverflow. Генератори доволі круті, коли ви перебуваєте в операції з пам'яттю. Але якщо це також не вдасться, спробуйте зменшити розмір шарів FC.

— гевін
джерело

Я думаю, що генератор - це цікава ідея для мого випадку, і я спробую це, але моя проблема полягає в тому, що я не маю гарної інформації про генератори, тому що я новачок у python.

— Хунар А.Ахмед

пройдіть цей середній пост про використання генераторів у керах. Це може допомогти вам отримати ідею

— Gavin

у керах набагато простіше, але мій код записаний у сирому тензорфлоу, і я не можу змінити його на кери.

— Хунар А.Ахмед

це питання від StackOverflow допоможе напевно

— Гевін