Якою мірою потрібна / корисна «просунута математика» в дослідженнях ШІ?

Зараз я вивчаю математику. Однак я не думаю, що в майбутньому я хочу стати професійним математиком. Я маю намір застосувати свої знання з математики для проведення досліджень в галузі штучного інтелекту. Однак я не впевнений, скільки курсів математики я повинен пройти. (І які курси теорії CS я повинен пройти.)

Від Quora я дізнався, що предмети Лінійна алгебра, статистика та опукла оптимізація є найбільш актуальними для машинного навчання (див. Це питання). Хтось ще згадував, що для вивчення штучного інтелекту потрібні вивчення лінійної алгебри, ймовірності / статистики, обчислення, основних алгоритмів та логіки (див. Це питання).

Я можу дізнатися про всі ці предмети протягом своїх перших 1,5 років бакалавра з математики в нашому університеті.

Мені все ж було цікаво, чи є якісь вищі студенти навіть з випускників рівня математики, які корисні або навіть потрібні для вивчення штучного інтелекту. А як щодо ODE, PDE, топології, теорії вимірювань, лінійного аналізу, аналізу Фур'є та аналізу на колекторах?

Одна з книг, яка наводить на думку про те, що якась досить передова математика є корисною для вивчення штучного інтелекту, - це Теорія візерунків: Стохастичний аналіз сигналів реального світу Девіда Мамфорда та Агнес Дезольньо (див. Цю сторінку). Він включає глави про ланцюги Маркова, пошарово-гауссові моделі, поля Гіббса, колектори, групи брехні та алгебри Лі та їх застосування до теорії візерунків. Наскільки ця книга корисна в дослідженнях ШІ?

Я не хочу звучати поблажливо, але математика, яку ви вивчаєте на бакалавраті та навіть на курсах аспірантури, не просувається. Це основи . Назва вашого питання повинна бути такою: чи потрібна / корисна "основна" математика в дослідженні AI? Тож, гулячи, скільки завгодно, я ніколи не зустрічав вченого-комп’ютера, який скаржився на те, що знає занадто багато математики, хоча я зустрічав багатьох, хто скаржився на те, що не знає цього достатньо. Я пам’ятаю, як допомагав аспіранту в AI зрозуміти алгоритм стилю сторінок. Для мене це була просто легка лінійна алгебра, але він страждав, бо не мав почуття щодо власних значень та власних векторів. Уявіть, що AI люди могли зробити, якби насправді знали багато математики!

Я викладаю на кафедрі математики, і я регулярно отримую прохання від колег по CS, щоб рекомендувати математичні спеціальності для кандидата технічних наук, вони віддають перевагу студентам з математики. Розумієте, математику справді, дуже важко навчитися самостійно, але більшість аспектів інформатики це не так. Я знаю, я був спеціалістом з математики, який потрапив до аспірантури CS. Звичайно, я був «позаду» щодо знань операційних систем (незважаючи на те, що я мав гідні знання про Unix та VMS), але я пройшов шлях вперед по «теорії». Це не симетрична ситуація.

Макс, ось (обов'язково) частковий список:

Основна лінійна алгебра та ймовірність потрібні всюди. Я думаю, вам не потрібні посилання на це.

Наскільки мені відомо, Фур'є-аналіз був використаний у дослідженні, пов'язаному з навчанням. Наприклад, ознайомтеся з цим документом .

Концепція багатозначного навчання стає все більш популярною, і ви можете почати дивитися на твори Михайла Белкіна та Партха Нійогі. Цей напрямок роботи вимагає розуміння різних понять, пов'язаних з багатоманіттями та римановою геометрією.

Є ще один аспект машинного навчання, який має більш глибоке коріння в статистиці, а саме - геометрія інформації. Ця область пов'язана в різних концепціях риманової геометрії, теорії інформації, інформації про Фішера тощо. Двоюрідний брат такого роду дослідження може бути знайдений в алгебраїчній статистиці - це зароджене поле з великим потенціалом.

Суміо Ватанабе досліджував іншу межу, а саме існування особливості в моделях навчання та способи застосування глибоких результатів резолюцій з алгебраїчної геометрії для вирішення багатьох питань. Результати Ватанабе значною мірою залежать від знаменитої роботи Хейсуке Хіронаки, яка здобула йому медаль Поля.

Я припускаю, що я опускаю багато інших областей, які потребують порівняно важкої математики. Але, як зазначив Андрій, більшість із них, ймовірно, не лежать на кордонах математики, а є відносно старшими та усталеними областями.

У будь-якому випадку, я вважаю, що теперішній стан AI, який увійшов в обчислювальні процеси - наприклад, в системах рекомендацій в Amazon або в бібліотеках машинного навчання, знайдених в Apache Mahout, не вимагає ніякої розширеної математики. Я можу помилятися.

Залежить від вашого визначення вищої кваліфікації та того, який ІІ ви хочете вивчити.

Багато проблем AI є, очевидно, нерозв'язними - оптимальні рішення POMDP є, мабуть, NP-завершеними, оптимальні рішення DEC-POMDPs, очевидно, NEXP-Complete і т. Д. Отже, відсутній деякий несподіваний прорив в теорії складності, тим більше, хто знає про алгоритми наближення і їх теоретичні основи, тим краще. (Окрім теорії вимірювань тощо), необхідного для того, щоб по-справжньому зрозуміти байєсівську ймовірність, що лежить в основі моделі POMDP.)

Багатоагентний штучний інтелект, зокрема, перетинається з теорією ігор; тому корисне знання теорії ігор, яке, в свою чергу, залежить від топології, теорії мір тощо. І так само багато проблем теорії ігор є нерозв'язними. Деякі з них навіть неприступні для наближення, і навіть розуміння, коли можна корисно наблизити, потребує значної кількості математики для відпрацювання.

(Зауважу, що теоретики ігор протягом останніх кількох років ведуть досить непоганий досвід у галузі Нобелівської економіки, і це сильно математичний характер. Я прогнозую, що через двадцять непарних років сьогоднішні теоретики алгоритмічної гри будуть приблизно приблизно однаковими. положення.)

Математика, що бере участь у ШІ, не є вищою, і викладається на нижчому рівні. Алгоритми навчання тренінгів та інтелектуального інтелекту належать до сфери передових комп'ютерних наук.

Це трохи гра в слова. Деяка історія також повинна бути включена при дослідженні ШІ.

Наприклад, у поточній номенклатурі глибоке навчання здається актуальним ключовим словом в AI.

Глибоке навчання - це те, що раніше називалося штучними нейронними мережами (ANNs), такими як зворотна пропагуюча мережа моделі сприймання Hinton (BACKPROP) тощо.

Математика, що бере участь у BACKPROP ANN (наприклад), по суті є похідним обчисленням для тренувань, і матричною алгеброю для зараження.

Новим аспектом глибокого навчання є фізичне розділення алгоритмів навчання та посилення. Процесори все ще використовуються для навчання, але зараз GPU використовуються для зараження.

Наприклад, матриці ANN тренуються (зважуються) за допомогою помилок зворотного розповсюдження з використанням корекційного числення похідних. Це найкраще підходить для процесорів, і їх потрібно виконувати лише один раз за розгортання ANN.

Потім ANN розгортається у високо паралельній архітектурі GPU. Математика прямого посягання включає в себе інтенсивну алгебру матриці, для якої розроблені графічні процесори.

Це підвищує ефективність розгорнутого ANN на кілька порядків порівняно з попередніми розгортаннями на базі процесора і може бути ефективніше масштабовано для будь-якої кількості виділених графічних процесорів.

Такі компанії, як Nvidia та AMD, зараз продають чіпсети GPU високого класу як Deep Learning Machines. Термін GPU завжди був дещо помилковим, оскільки вони справді є паралельними процесорами загального призначення. Наприклад, графічні процесори також іноді називаються бітмінерами в додатках blockchain.

Тож те, що було старим, тепер нове. Математика, що займається, не змінилася, лише термінологія інформатики (в основному через маркетинговий тиск).

Термін AI завжди вважався трохи темним конем. «Глибоке навчання» - це політично правильний, сприятливий для ринку термін.

AI - це надзвичайно широке поле з широким спектром можливих маршрутів. Деякі надзвичайно математичні, деякі ледь торкаються математики. Інші вже дали хороші відповіді на більш математичні підходи. З предметів, на які ви вказали:

"Лінійна алгебра, ймовірність / статистика, обчислення, основні алгоритми та логіка"

-в основному вам потрібно чи виграєте від них усі. Багато підходів принаймні частково безпосередньо базуються на вірогідності та статистиці - евристика, нейронні мережі, генетичні алгоритми, нечітка логіка. Обчислення не менш корисне - в ІІ або загалом обчислювальній науці ви знайдете його майже скрізь. Лінійна алгебра - це теж те, що вам точно потрібно.

Два найважливіші предмети з точки зору CS / AI - це алгоритми та логіка, алгоритми - справжнє серце обчислювальної науки, а логіка - основна "мова" алгоритмів. Ключ до алгоритмів навчання, хоча це навчання програмуванню, майстерність а практика з базового програмування - одна з найважливіших основ майже всіх предметів інформатики чи ІІ. Програмування також є вмінням, яке університети не завжди особливо добре навчають. Логіка також дуже важлива для більшості галузей ШІ; Булева логіка, обчислення предикатів, символічна логіка, основні теорії перестановки, ієрархія дизайну, рекурсія, машини кінцевого стану, машини Тюрінга, дизайн процесора тощо. Тут ми дійсно відходимо від математики до власних обчислень.

Розширення мого власного поля математики «Сильний ШІ» відіграє основну, але абсолютно істотну роль. Дуже добре розуміння базової математики, мабуть, важливіше, ніж вища математика, але насправді все, що ви підберете, може бути корисним. Справжня проблема в зароджуваному полі, як Сильний ШІ, полягає в тому, що все знаходиться в повітрі, і це поле знаходиться в повному потоці.
Предмети, які можуть бути корисними, включають: нейронні мережі, генетичні алгоритми, неврологія, генетика, психологія, кібернетика та робототехніка, теорія 3D графіки, теорія обробки зображень, дизайн комп'ютерних ігор, філософія, теорія мистецтва, цифрова електроніка, теорія лінгвістики. як це читання - один з найважливіших способів навчання. Кілька книг, які були для мене вихідними точками, були: «Новий розум імператорів» Роджера Пенроуза, «Око та мізг» Р. Л. Григорія, але справді розуміння може з’явитися майже з будь-якого місця