Математичний фон для нейронних мереж


11

Не впевнений, чи підходить це для цього сайту, але я починаю свій магістр MSE з інформатики (бакалавра прикладної математики) і хочу отримати сильний досвід в машинному навчанні (я, швидше за все, збираюся здобути ступінь доктора наук). Одним із моїх підінтересів є нейронні мережі.

Що є хорошим математичним підґрунтям для ANN? Як і в інших областях машинного навчання, я вважаю, що лінійна алгебра є важливою, але які інші напрямки математики важливі?

Планую прочитати нейронні мережі: систематичне введення або нейронні мережі для розпізнавання образів . Хтось має якісь вхідні чи альтернативні рекомендації?

Відповіді:


10

Друга посилання, яку ви даєте, є, на мою думку, досі найкращою книгою про NN, хоча вона може бути трохи застарілою і не стосується останніх розробок, як глибокі архітектури. Ви отримаєте правильні основи та ознайомитеся з усіма основними поняттями навколо машинного навчання.

Якщо ви будете читати книгу, вам знадобляться лінійна алгебра, багатофакторне числення та основні поняття статистики (умовні ймовірності, теорема Байєса та ознайомлення з біноміальними розподілами). У деяких моментах мова йде про обчислення варіацій. Додатку щодо обчислення варіантів має бути достатньо.


Це те, що я закінчила після ряду рекомендацій, я дуже вагалася, тому що книга Бішопа про машинне навчання, хоча її озвучили деякі, повинна бути дуже складною книгою, з якої можна дізнатися, якщо ви цього ще не знаєте .
Стів П.

5

Математичний компонент, швидше за все, включає мінімальну алгебру, триггер, лінійну алгебру та обчислення як мінімум.

Але також думайте поза межами. Хороші навички програмування також необхідні, включаючи міцні основи в алгоритмах (Coursera має два курси з алгоритмів) та володіння MatLab, Octave або R (та гнучким мовою програмування, як Java, C / C ++ або Python). Я згадую про це у відповідь на ваше запитання, оскільки вони, на мою думку, є більш "прикладними математичними" навичками - і є основоположними для перекладу між теорією та прикладними реалізаціями.

Я взяв ряд курсів Coursera, пов'язаних з машинним навчанням (і погоджуюся з іншим плакатом, що машинне навчання професора Нг є фантастичним) та NN. Кілька місяців тому Coursera провів курс нейронних мереж (не впевнений, чи це все ще доступно) через університет Торонто та Джеффрі Хінтон. Чудовий курс і вимагав: знання обчислення, володіння Octave (з відкритим кодом MatLab-подібний клон), хороший алгоритмічний дизайн (для масштабування) та лінійна алгебра.

Ви також можете (хоча не математика сама по собі) замислюватися над такими темами, як обробка природних мов (для вилучення функцій тощо), пошук інформації, статистика / теорія ймовірностей, а також інші області машинного навчання (щоб отримати більше теорії). Останні тексти, такі як "Основи машинного навчання" (Морі) або "Вступ до машинного навчання" (Альпадідин), можуть бути корисними вам для подолання складності теорії до впровадження (на мою думку, це може бути важким стрибком) - і обидва тексти дуже важкі для математики, особливо Основи.

Знову ж таки, я думаю, що всі стосуються математики та НН, але в більш широкому сенсі.


Дякую. Я покладався на прикладну математику як нижчу ступінь (і маю великий досвід програмування), тому маю все це, крім суворого курсу абстрактної алгебри, який я сам викладаю ... В кінцевому підсумку працював з нейронними мережами для шаблону Визнання, єпископ. Для всіх, хто цікавиться, я дуже рекомендую це ...
Стів П.


2

Дуже хорошою книгою (не дуже вступною, але не припускаю, що попередні знання в нейронних мережах) є Брайан Ріплі: "Розпізнавання візерунків та нейронних мереж", які, я б сказав, містять велику частину його преліментів. З BS з прикладної математики ви повинні бути готові.


2

ОСНОВНА тема - статистика

числення багатовимірне

числова лінійна алгебра (розріджені матриці тощо) чисельна оптимізація (градієнтний спуск тощо, квадратичне програмування)

ви можете прочитати про гауссові процеси та математику, необхідну там, спробуйте виконати кілька класів з обробки зображень / природних мов.


Я фактично проходжу курс НЛП восени.
Стів П.
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.