Чому так називають моделі дискримінантного аналізу Гаусса?

13

Моделі дискримінантного аналізу Гаусса вивчають а потім застосовують правило Байєса для оцінки $P(x|y)$ Отже, це генеративні моделі. Чому тоді це називається дискримінантним аналізом? Якщо це відбувається тому, що ми нарешті отримуємо дискримінантну криву між класами, то це відбувається для всіх генеративних моделей.

П (у | х) = \frac{П (х | у) П_{p r i о r} (у)}{Σ_{г \in Y} П (х | г) П_{p r i о r} (г)} .

$P(y|x) = \frac{P(x|y)P_{prior}(y)}{\Sigma_{g \in Y} P(x|g) P_{prior}(g) }.$

normal-distribution discriminant-analysis generative-models

— highBandWidth
джерело

19

Якщо ви маєте на увазі LDA, я б сказав, що ім'я, лінійний дискримінантний аналіз, можна пояснити історично, починаючи принаймні з праці Фішера 1936 року , яка, наскільки мені відомо, передує сучасній термінології та різниці в машинному навчанні між дискримінаційним та генеративна модель. Не те, що Фішер називав це лінійним дискримінантним аналізом безпосередньо, але він прямо просив лінійну функцію дискримінації. Як цікаве побічне зауваження, Фішер розглядав дискримінацію за знамениті дані про Ірис у документі.

Фішер, до речі, не представив лінійний метод дискримінації з точки зору генеративної моделі. Він шукав лінійну комбінацію (для двох класів), яка максимізує відношення дисперсії між групами до дисперсії всередині групи , яка не потребує припущення про нормальність. Деталі та те, як це стосується LDA як правила Байєса для генеративної моделі, можна знайти у розділі 3 у книзі Брайана Ріплі «Розпізнавання візерунків та нейронні мережі».

— NRH
джерело

2

$(Y=0 , Y=1)$

$P(X|Y=0) \sim \mathcal{N}(\mu_0,\Sigma_0)$
$P(X|Y=1) \sim \mathcal{N}(\mu_1,\Sigma_1)$
$P(Y=1)=1-P(Y=0)=\Phi$

$(\mu_0,\Sigma_0,\mu_1,\Sigma_1,\Phi)$

Таким чином, він є гауссовим, оскільки він використовує гауссова припущення для внутрішньогрупового розподілу (можливо, ви хочете використовувати єдиний замість колишнього) і дискримінантний, оскільки він має на меті розділити дані на групи.

Більше інформації ви можете знайти тут .

— dfhgfh
джерело