Запитання з тегом «deep-learning»

Передумови: Я вивчаю розділ 6 «Глибоке навчання» Іона Гудфллоу та Йошуа Бенджо та Аарона Курвіля. У розділі 6.2.2.2 (сторінки 182 з 183, які можна переглянути тут ) використання сигмоїдів для виведення P(y=1|x)P(y=1|x)P(y=1|x) мотивовано. Підсумовуючи частину матеріалу, вони дозволяють z=wTh+bz=wTh+bz = w^Th+b бути вихідним нейроном до застосування активації, де hhh - …

12 neural-networks  deep-learning 

Я хочу знати різницю між лінійною регресією у звичайному аналізі машинного навчання та лінійною регресією в умовах «глибокого навчання». Які алгоритми використовуються для лінійної регресії в умовах глибокого навчання.

12 regression  machine-learning  deep-learning 

Я читав статтю « Глибоке залишкове навчання для розпізнавання зображень» і у мене виникли труднощі з розумінням на 100%, що означає залишковий блок обчислювально. Читаючи їхній документ, вони мають малюнок 2: що ілюструє, яким повинен бути Залишковий блок. Чи обчислення залишкового блоку просто те саме, що: y =σ( Ш2σ( Ш1x …

12 machine-learning  neural-networks  deep-learning  conv-neural-network  residual-networks 

У машинному навчанні (для проблем з регресією) я часто бачу середню квадратичну помилку (MSE) або середню абсолютну помилку (MAE), яка використовується як функція помилок для мінімізації (плюс термін регуляризації). Мені цікаво, чи є ситуації, коли використання коефіцієнта кореляції було б більш доцільним? якщо така ситуація існує, то: За яких ситуацій …

12 regression  machine-learning  svm  optimization  deep-learning 

Як кодувати дату та час події для нейронної мережі? У мене немає безперервного часового ряду, але деякі події з датою та часом, і я аналізую якусь цікавість. Цей інтерес відрізняється між ранком та вечором, і відрізняється між буднями, літом і зимою, перед Різдвом та Великоднем тощо. А самі події мають …

12 neural-networks  deep-learning 

Я намагаюся зробити математичний зв’язок між нейронною мережею та графічною моделлю. У графічних моделях ідея проста: розподіл ймовірностей розподіляється відповідно до кліків на графіку, при цьому потенціали, як правило, належать до експоненціальної родини. Чи існує рівнозначне міркування для нейронної мережі? Чи можна виразити розподіл ймовірності над одиницями (змінними) в машині …

12 neural-networks  markov-process  graphical-model  deep-learning  deep-belief-networks 

Я дивився лекції CS231N зі Стенфорда і намагаюся обернути голову навколо деяких питань архітектури CNN. Що я намагаюся зрозуміти, чи є якісь загальні вказівки щодо вибору розміру фільтра згортки та такі речі, як ходу, чи це більше мистецтво, ніж наука? Як я розумію, об'єднання існує, головним чином, для того, щоб …

12 neural-networks  deep-learning  conv-neural-network 

Я розумію , що даний набір mmm незалежних спостережень максимального правдоподібності оцінювач (або, що еквівалентно, карта з плоскою / рівномірної до) , який ідентифікує параметрів , які виробляють розподіл моделі що найкраще відповідає цим спостереженнямO={o(1),...,o(m)}O={o(1),...,o(m)}\mathbb{O}=\{\mathbf{o}^{(1)}, . . . , \mathbf{o}^{(m)}\}θθ\mathbf{θ}pmodel(⋅;θ)pmodel(⋅;θ)p_{model}\left(\,\cdot\, ; \mathbf{θ}\right) θML(O)=pmodel(O;θ)=argmaxθ‎‎∏i=1mpmodel(o(i);θ)θML(O)=pmodel(O;θ)=arg⁡maxθ‎‎∏i=1mpmodel(o(i);θ)\mathbf{θ}_{ML}(\mathbb{O})= p_{model}\left(\mathbb{O}; \mathbf{θ}\right) = \underset{\mathbf{θ}}{\arg\max}‎‎\prod_{i=1}^{m} p_{model}\left(\mathbf{o}^{(i)}; \mathbf{θ}\right) або, …

12 maximum-likelihood  deep-learning  cross-entropy 

Мене цікавить (Глибоке) Підсилення навчання (RL) . Перш ніж зануритися в цю сферу, я повинен пройти курс теорії ігор (GT) ? Як пов'язані GT та RL ?

12 deep-learning  reinforcement-learning  game-theory 

Я вивчаю і намагаюся реалізувати звивисті нейронні мережі, але, мабуть, це питання стосується взагалі багатошарових перцептронів. Вихідні нейрони в моїй мережі представляють активацію кожного класу: найактивніший нейрон відповідає передбачуваному класу для заданого входу. Щоб розглянути можливість перехресної ентропії на навчання, я додаю шар softmax в кінці мережі, так що значення …

12 neural-networks  deep-learning  conv-neural-network  nonlinear  softmax 

Я не думаю, що можна відповісти на всі моделі глибокого навчання. Які моделі глибокого навчання параметричні, а які непараметричні і чому?

12 neural-networks  deep-learning  nonparametric  parametric 

Наскільки мені відомо, і для автонекодерів, і для t-SNE використовують нелінійне зменшення розмірності. Які відмінності між ними і чому я повинен використовувати один проти іншого?

12 neural-networks  deep-learning  dimensionality-reduction  autoencoders  tsne 

Я хочу використовувати глибоке навчання для тренування бінарного виявлення обличчя / без обличчя, яку втрату я повинен використовувати, я думаю, що це SigmoidCrossEntropyLoss або Hinge-loss . Це правильно, але мені також цікаво, чи варто використовувати софтмакс, але лише з двома класами?

11 deep-learning  loss-functions  computer-vision  conv-neural-network 

У книзі Goodfellow (2016) про глибоке навчання він розповів про еквівалентність ранньої зупинки до регуляризації L2 ( https://www.deeplearningbook.org/contents/regularization.html сторінка 247). Квадратичне наближення функції функції задається:jjj J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) де - матриця Гессія (рівняння 7.33). Чи не вистачає цього середнього терміну? Розширення Тейлора повинно бути: HHHf(w+ϵ)=f(w)+f′(w)⋅ϵ+12f′′(w)⋅ϵ2f(w+ϵ)=f(w)+f′(w)⋅ϵ+12f″(w)⋅ϵ2f(w+\epsilon)=f(w)+f'(w)\cdot\epsilon+\frac{1}{2}f''(w)\cdot\epsilon^2

11 neural-networks  deep-learning  loss-functions  derivative 

Нещодавно мені стало відомо про «вірогідні» методи, які перебувають у літературі. Однак мені не ясно, що означає спосіб висновку чи оптимізації бути вірогідним . При машинному навчанні мета зазвичай полягає в тому, щоб максимально збільшити ймовірність того, що деякі параметри підходять до функції, наприклад, ваги в нейронній мережі. Тож у …

11 machine-learning  deep-learning  maximum-likelihood  generative-models  abc