Що таке пошук і як ви шукаєте нейронну мережу?

10

Я розумію, що попередня підготовка використовується для уникнення деяких проблем із звичайною підготовкою. Якщо я використовую backpropagation з, скажімо, автокодером, я знаю, що я зіткнуся з проблемами у часі, оскільки зворотне розповсюдження відбувається повільно, а також, що я можу зациклюватися на локальній оптимі і не вивчити певні функції.

Я не розумію, як ми шукаємо мережу і що конкретно ми робимо для пошуку. Наприклад, якщо нам надають стек обмежених машин Boltzmann, як би ми провели цю мережу?

— Майкл Юсеф
джерело

2

Якщо ви не знаходитесь в обстановці з лише кількома маркованими і безліччю маркованих зразків, перевірка вважається застарілою. Якщо це не так, використання функції передачі випрямляча та розширених оптимізаторів (rmsprop, adadelta, adam) працює однаково добре для глибоких нейронних мереж.

f (x) = max (x, 0)

$f(x) = \max(x, 0)$

— байерж

Так, я працюю при припущенні, що існує велика кількість незазначених зразків і мало мічених зразків.

— Майкл Юсеф

2

Ви починаєте з підготовки кожної УПМ в стеку окремо, а потім комбінуєте в нову модель, яку можна додатково налаштувати.

Припустимо, у вас є 3 RBM, ви тренуєте RBM1 зі своїми даними (наприклад, купа зображень). RBM2 навчається з виходом RBM1. RBM3 навчається з виходом RBM2. Ідея полягає в тому, що кожна модель УЗМ має репрезентативні зображення та ваги, які вони навчаються при цьому, корисні для інших дискримінаційних завдань, таких як класифікація.

— мнагарадж
джерело

0

Шукати складеними УЗМ - це, щоб жадібно пошарово мінімізувати визначену енергію, тобто максимізувати ймовірність. Г. Гінтон запропонував алгоритм CD-k, який можна розглядати як єдину ітерацію вибірки Гіббса.

— Моу
джерело

Таким чином, попередній пошук складеної УЗМ дозволяє мінімізувати задану енергію та отримати кращі результати. І тоді алгоритм контрастної дивергенції Хінтона - це те, як ми б насправді шукали. Наскільки саме фактор пошуку в навчанні додаткових функцій? Я припускаю, що для питання швидкості алгоритм CD набагато швидший, ніж зворотне розповсюдження.

— Майкл Юзеф