Я продовжую відповідати на запитання, яке я задавав раніше щодо УЗМ . Я бачу багато літератури, що описує їх, але жодна, яка насправді говорить про регресію (навіть не класифікація з міченими даними). У мене виникає відчуття, що він використовується лише для не маркованих даних. Чи є ресурси для лікування регресії? Або це так просто, як додати ще один шар поверх прихованого шару і запустити алгоритм CD вгору і вниз? Дякую заздалегідь.
Відповіді:
Ви маєте рацію щодо незазначених даних. МПУ - це генеративні моделі, які найчастіше використовуються як неуправляючі учні.
При побудові мережі глибоких переконань найбільш типовою процедурою є просто навчання кожного нового КВМ по одному, коли вони складаються один на одного. Тож контрастна розбіжність не йде вгору і вниз в тому сенсі, як я думаю, ви маєте на увазі. Він працює лише з однією УЗМ за один раз, використовуючи прихований шар попереднього найвищого УЗМ в якості вхідного сигналу для нового самого верхнього УЗМ. Після всього цього ви можете або ставитись до стеку ваг RBM як до початкових ваг для стандартної нейронної мережі передачі вперед і тренуватися, використовуючи мічені вами дані та зворотне розповсюдження, або робити щось більш екзотичне, як використовувати алгоритм неспання. Зауважте, що ми не використовували жодних мічених даних до останнього кроку, що є однією з переваг цих типів моделей.
З іншого боку, існує декілька способів використання КВМ для класифікації.
Я б настійно пропонував вам ознайомитись з технічним звітом Практичний посібник з навчання обмежених машин Больцмана Джеффа Гінтона. Він обговорює декілька цих питань набагато детальніше, надає безцінні поради, цитує безліч релевантних робіт і може допомогти усунути будь-яку іншу плутанину, яка може виникнути.
Погляньте на реалізацію, http://code.google.com/p/matrbm/ . Він має функцію класифікації rmb fit, яку варто врахувати. Також повідомте мені, якщо ви знайдете кращі реалізації DBN та RMB для класифікації та регресії.
Я думаю, що один із способів тестування нейронних мереж, таких як Машина Больцмана з обмеженими можливостями, - це застосувати їх до нових наборів даних або, частіше, підмножини загального набору даних, і подивитися, як вони працюють. Ви також можете протестувати модель з перехресною валідацією. Я використовував популярний інструментарій програмного забезпечення машинного навчання з відкритим кодом (ML), який простий в установці та використанні, і він дозволяє легко тестувати багато типів алгоритмів ML окремо за допомогою ряду статистичної регресії моделі ( http: // www. cs.waikato.ac.nz/ml/weka/ ). Це може дати вам швидкий аналіз без особливого втручання, за винятком основ роботи програми, хоча залежно від цього, можливо, не варто, якщо буде важко відформатувати ваші дані (хоча, як правило, ви можете google "csv to arff convert online", наприклад для одномоментного форматування).