Чи є GLM статистичною чи машинною моделлю навчання?

Я думав, що узагальнену лінійну модель (GLM) вважатимуть статистичною моделлю, але друг сказав мені, що деякі статті класифікують це як техніку машинного навчання. Який із них правдивий (чи точніше)? Будь-яке пояснення буде вдячним.

GLM - абсолютно статистична модель, але статистичні моделі та методи машинного навчання не є взаємовиключними. Загалом, статистика більше стосується виводних параметрів, тоді як у машинному навчанні кінцевою метою є прогнозування.

Що стосується прогнозування, статистика та науки про машинне навчання почали вирішувати в основному ту саму проблему з різних точок зору.

В основному статистика передбачає, що дані були створені за заданою стохастичною моделлю. Таким чином, з статистичної точки зору передбачається модель і з урахуванням різних припущень, помилки обробляються, а параметри моделі та інші питання приводяться до висновку.

Машинне навчання виходить з точки зору інформатики. Моделі є алгоритмічними, і зазвичай дуже мало припущень щодо даних. Ми працюємо з простором гіпотез і з ухилом до навчання. Найкраща експозиція машинного навчання, яку я знайшла, міститься в книзі Тома Мітчелла під назвою Машинне навчання .

Для більш вичерпного та повного уявлення про дві культури ви можете прочитати документ Лео Бреймана під назвою Статистичне моделювання: Дві культури

Однак потрібно додати, що навіть якщо обидві науки почали з різних точок зору, зараз вони обидві мають загальну кількість загальних знань та методик. Чому, тому що проблеми були однакові, але інструменти були різні. Тож тепер машинне навчання здебільшого трактується із статистичної точки зору (перевірте книгу Хасті, Тібшірані, Фрідмана . Елементи статистичного навчання з точки зору машинного навчання зі статистичною обробкою та, можливо, книгу Кевіна П. Мерфі. Машинне навчання: A ймовірнісна перспектива , щоб назвати лише кілька найкращих книг, доступних сьогодні).

Навіть історія розвитку цього поля свідчить про переваги цього злиття перспектив. Я опишу дві події.

Перший - це створення дерев CART, які створив Брейман із солідним статистичним підґрунтям. Приблизно в той же час Quinlan розробив набір дерев рішень ID3, C45, See5 тощо, з більш інформатикою з інформатики. Зараз і це сімейство дерев, і методи ансамблю, такі як забої та ліси, стають досить схожими.

Друга історія - про підвищення. Спочатку вони були розроблені Фрейндом та Шейпіром, коли вони відкрили AdaBoost. Вибір для проектування AdaBoost робився здебільшого з обчислювальної точки зору. Навіть автори не зрозуміли добре, чому це працює. Тільки через 5 років Брейман (знову ж таки) описав модель адабосту з статистичної точки зору і дав пояснення, чому це працює. Відтоді різні видатні вчені з обома типами розвитку розвивали подальші ідеї, що ведуть до плеяди алгоритмів підвищення, таких як логістичне підвищення, градієнтне підвищення, легке підвищення та ін. Зараз важко думати про підвищення без міцного статистичного підґрунтя.

Узагальнені лінійні моделі є статистичною розробкою. Однак нові байєсівські методи лікування застосовують цей алгоритм і в майданчику машинного навчання. Тому я вважаю, що обидві претензії можуть бути правильними, оскільки тлумачення та трактування того, як це працює, може бути різним.

На додаток до відповіді Бена, тонка відмінність статистичних моделей від моделей машинного навчання полягає в тому, що в статистичних моделях ви чітко визначаєте структуру рівнянь виводу перед побудовою моделі. Модель побудована для обчислення параметрів / коефіцієнтів.

Візьмемо, наприклад, лінійну модель або GLM,

y = a1x1 + a2x2 + a3x3

Ваші незалежні змінні - x1, x2, x3, а коефіцієнти, які слід визначити, - a1, a2, a3. Ви визначаєте структуру рівнянь таким чином, перш ніж будувати модель і обчислювати a1, a2, a3. Якщо ви вважаєте, що y якось співвідноситься з x2 нелінійним способом, ви можете спробувати щось подібне.

y = a1x1 + a2(x2)^2 + a3x3.

Таким чином, ви ставите обмеження з точки зору структури виводу. За своєю суттю статистичні моделі є лінійними моделями, якщо ви явно не застосовуєте перетворення, як сигмоїд або ядро, щоб зробити їх нелінійними (GLM та SVM).

У випадку моделей машинного навчання ви рідко вказуєте структуру виводу та алгоритми, такі як дерева рішень за своєю суттю нелінійні та працюють ефективно.

На противагу тому, що зазначив Бен, моделі машинного навчання стосуються не лише прогнозування, вони класифікації, регресії тощо, які можуть бути використані для прогнозування, що також робиться за допомогою різних статистичних моделей.

GLM - абсолютно статистична модель, тоді як все більше статистичних методів застосовуються у промисловому виробництві як хитрості машинного навчання . Метааналіз, який я читав найбільше за ці дні, є хорошим прикладом у статистичній галузі.

Ідеальний промисловий додаток з GLM може пояснити, чому ваш друг сказав вам, що GLM вважається технікою машинного навчання . Про це можна посилатися на вихідному документі http://www.kdd.org/kdd2016/papers/files/adf0562-zhangA.pdf .

Я впровадив спрощену схему, яку розглянули як основну основу для моєї рекомендаційної системи у виробничому сценарії кілька тижнів тому. Дуже вдячний, якщо ви дасте кілька порад, і ви можете перевірити вихідний код: https://github.com/PayneJoe/algo-sensetime/blob/master/src/main/scala/GLMM.scala

Сподіваємось, що це допоможе вам, добрий день!