Запитання з тегом «batch-normalization»

Я читав папір для нормалізації партії (BN) (1) і не розумів необхідності використання ковзаючих середніх для відстеження точності моделі, і навіть якщо я визнав, що це правильно зробити, я не розумію що саме вони роблять. Наскільки я розумію (що я помиляюся), у статті йдеться про те, що вона використовує статистику …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Наскільки я розумію, пакетна норма нормалізує всі вхідні характеристики шару до одиничного нормального розподілу, . Середнє значення та дисперсія оцінюються шляхом вимірювання їх значень для поточної міні-партії.N( μ = 0 , σ= 1 )N(мк=0,σ=1)\mathcal{N}(\mu=0,\sigma=1)мк ,σ2мк,σ2\mu, \sigma^2 Після нормалізації введення масштабуються та зміщуються на скалярні значення: х^'i= γх^i+ βх^i'=γх^i+β\hat{x}_i' = \gamma …

13 batch-normalization 

Нормалізація партії пояснюється значним покращенням продуктивності глибоких нейронних сіток. Багато матеріалів в Інтернеті показує, як реалізувати його на основі активації за допомогою активації. Я вже реалізував backprop, використовуючи матричну алгебру, і враховуючи, що я працюю на мовах високого рівня (покладаючись на Rcpp(а згодом і на GPU) для щільного множення матриці), …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization