Хороший підручник для обмежених машин Больцмана (УЗМ)

10

Я вивчаю обмежену машину Больцмана (RBM) і у мене виникають проблеми з розумінням обчислень вірогідності журналу щодо параметрів МП. Незважаючи на те, що було опубліковано багато науково-дослідних робіт щодо УЗМ, детальних кроків похідних даних немає. Після пошуку в Інтернеті я зміг їх знайти в цьому документі:

Фішер, А., Ігель, C. (2012). Вступ до обмежених машин Больцмана. У Л. Альварес та ін. (Ред.): CIARP, LNCS 7441, pp. 14–36, Springer-Verlag: Берлін-Гейдельберг. ( pdf )

Однак деталі цього документа для мене занадто просунуті. Чи може хтось вказати мені на гарний підручник / набір конспектів лекцій про УЗМ?

Редагувати: @David, заплутаний розділ показаний нижче (рівняння 29 на сторінці 26):

$\begin{aligned} \frac{\partial \ln L (θ | v)}{\partial w_{i j}} & = - \sum_{h} p (h | v) \frac{\partial E (v, h)}{\partial w_{i j}} + \sum_{v, h} p (v, h) \frac{\partial E (v, h)}{\partial w_{i j}} \\ = \sum_{h} p (h | v) h_{i} v_{j} - \sum_{v} p (v) \sum_{h} p (h | v) h_{i} v_{j} \\ (29) & = p (H_{i} = 1 | v) v_{j} - \sum_{v} p (v) p (H_{i} = 1 | v) v_{j} . \end{aligned}$ $\begin{align} \frac{\partial\ln\mathcal{L}(\theta|v)}{\partial w_{ij}} &= -\sum_h p(h|v)\frac{\partial E(v, h)}{\partial w_{ij}} + \sum_{v,h} p(v,h)\frac{\partial E(v,h)}{\partial w_{ij}} \\[5pt] &= \sum_h p(h|v)h_iv_j - \sum_v p(v) \sum_h p(h|v)h_iv_j \\[5pt] &= \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j - \sum_v p(v) \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j\; . \tag{29} \end{align}$

references rbm

— Upul
джерело

Чи можете ви бути більш конкретними щодо того, які кроки вас бентежать?

— Девід Дж. Харріс

1

добре читайте - розділ 5 вивчення глибоких архітектур для AI ( iro.umontreal.ca/~bengioy/papers/ftml_book.pdf )

— dksahuji

@dksahuji дякую за INFO, також проф: Бенджіо пише DL, а первинний проект доступний за адресою iro.umontreal.ca/~bengioy/dlbook

— Upul

У цьому підручнику є пояснення з математики RBM ( Навчальний посібник з обмеженими машинами Больцмана ).

— Цзян Сян

7

Я знаю, що це трохи пізно, але, можливо, це допомагає. Щоб отримати перший додаток вашого рівняння, виконайте такі дії: Ми припустили, що умовна незалежність між приховані одиниці, з огляду на видимі одиниці, існують. Таким чином, ми можемо факторизувати умовний спільний розподіл ймовірностей для прихованих станів.

\begin{aligned} \sum_{h} p (h | v) h_{i} v_{j} & = v_{j} \sum_{h_{1}} . . . \sum_{h_{i}} . . . \sum_{h_{n}} p (h_{1}, . . ., h_{i}, . . . h_{n} | v) h_{i} \\ = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i}, h_{_i} | v) h_{i} \end{aligned}

$\begin{align} \sum_{\mathbf{h}} p(\mathbf{h} | \mathbf{v})h_iv_j &= v_j \sum_{h_1}...\sum_{h_i}...\sum_{h_n} p(h_1,...,h_i,...h_n | \mathbf{v}) h_i \\[5pt] &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}}p(h_i, \mathbf{h_{\_i}} | \mathbf{v}) h_i \end{align}$

\begin{aligned} = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i} | v) h_{i} p (h_{_i} | v) \\ = v_{j} \sum_{h_{i}} p (h_{i} | v) h_{i} \sum_{h_{_i}} p (h_{_i} | v) \end{aligned}

$\begin{align} &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}} p(h_i | \mathbf{v}) h_i \: p(\mathbf{h_{\_ i}}|\mathbf{v}) \\[5pt] &= v_j \sum_{h_i} p(h_i | \mathbf{v}) h_i \: \sum_{\mathbf{h_{\_ i}}} p(\mathbf{h_{\_ i}}|\mathbf{v}) \end{align}$ Останній член дорівнює , оскільки ми підсумовуємо всі стани. Таким чином, те, що залишилося, - це перший термін. Оскільки приймає лише стани і ми закінчуємо:

1

$1$

h_{i}

$h_i$

1

$1$

0

$0$

= v_{j} p (H_{i} = 1 | v)

$\hspace{-25mm}= v_j \: p(H_i = 1 | \mathbf{v})$

— пещ
джерело

7

На сайті поглиблення є гідний підручник з УЗМ .
Ця публікація в блозі ( Вступ до обмежених машин Больцмана ) написана більш простою мовою і дуже добре пояснює основи RBMS:
Також, можливо, найкращим посиланням є курс Нейронних мереж Джеффа Гінтона на Курсі:

Я не впевнений, чи можете ви отримати доступ до класу та відео після закінчення уроку.

— sjm.majewski
джерело

2

Ще є люди, які підписуються на клас Coursera та публікують на форумі. Ви все ще можете побачити всі лекції та отримати доступ до всіх вікторин та завдань програмування (серед вікторин). Ця інформація буде ймовірно, поки курс не буде запропонований знову. Я рекомендую записатись на курс просто для перегляду чи завантаження матеріалу.

— Дуглас Заре

1

Ліве помаранчеве поле дає очікуване значення градієнта енергії для всіх прихованих конфігурацій, враховуючи, що деякий видимий вектор затиснутий на видимих одиницях (очікування над даними, оскільки він використовує зразок з вашого навчального набору). Сам термін є добутком (1) ймовірності побачити конкретну приховану одиницю i з огляду на те, що деякий вектор v затиснутий на видимих одиницях і (2) стан певної видимої одиниці j.

Правий помаранчевий ящик - це те саме, що і лівий, за винятком того, що ви робите те, що знаходиться в лівому оранжевому полі для кожної можливої видимої конфігурації, а не лише ту, яка затиснута на видимих одиницях (очікування щодо моделі, оскільки нічого не затискається на видимих одиницях).

— авалон
джерело

1

Глава 5 курсу курсу Уго Ларошелла про машинне навчання ( відео ) - найкраще вступ, що я знайшов досі.

Похідна від функції втрат не виводиться в цих лекціях, але це не важко зробити (я можу розмістити сканування своїх розрахунків, якщо це потрібно, але це дійсно не так складно). Я все ще шукаю гарний підручник, що висвітлює цю тему, але в основному є лише статті. Існує хороший огляд статей у главі 20 книги « Глибоке навчання Бенджіо» .

— jakab922
джерело