Лінійний дискримінантний аналіз та правило Байєса: класифікація

Яке відношення між лінійним дискримінантним аналізом та правилом Байєса? Я розумію, що LDA використовується в класифікації, намагаючись мінімізувати співвідношення між груповою дисперсією та між дисперсією групи, але я не знаю, як в ній використовується правило Байєса.

classification discriminant-analysis bayes

— zca0
джерело

Дискримінантні функції витягуються таким чином, щоб максимізувати відхилення між групами до коефіцієнта варіації в межах групи. Це не має нічого спільного з класифікацією, яка є другим та окремим етапом LDA.

— ttnphns

Класифікація LDA йде наступним чином (підхід до правила Байєса). [Про вилучення дискримінантів можна подивитися тут .]

Відповідно до теореми Байєса, шукана ймовірність того, що ми маємо справу з класом , спостерігаючи в даний час точку є , де $k$ $x$ $P(k|x) = P(k)*P(x|k) / P(x)$

$P(k)$ - безумовна (фонова) ймовірність класу ; - безумовна (фонова) ймовірність точки ; - ймовірність присутності точки у класі , якщо клас, що знаходиться у виправі, дорівнює . $k$ $P(x)$ $x$ $P(x|k)$ $x$ $k$ $k$

"Спостереження в даний час точки " є базовою умовою, , і знаменник можна опустити. Таким чином, . $x$ $P(x)=1$ $P(k|x) = P(k)*P(x|k)$

$P(k)$ - це попередня (доаналітична) ймовірність того, що нативний клас для дорівнює ; задається користувачем. Зазвичай за замовчуванням всі класи отримують рівні = 1 / number_of_classes. Для того, щоб обчислити , тобто задню (пост-аналітичну) ймовірність того, що нативний клас для дорівнює , слід знати . $x$ $k$ $P(k)$ $P(k)$ $P(k|x)$ $x$ $k$ $P(x|k)$

$P(x|k)$ - ймовірність сама по собі - не можна знайти для дискримінантів, головним питанням LDA є суцільні, а не дискретні змінні. Кількість, що виражає у цьому випадку та пропорційна їй - щільність ймовірності (функція PDF). Цим нам потрібно обчислити PDF для точки у класі , у -вимірному нормальному розподілі, утвореному значеннями дискримінантів. [Див. Багатовимірний звичайний розподіл у Вікіпедії] $P(x|k)$ $x$ $k$ $PDF(x|k)$ $p$ $p$

P D F (x | k) = \frac{e^{- d / 2}}{(2 π)^{p / 2} \sqrt{| S |})}

$PDF(x|k) = \frac {e^{-d/2}} {(2\pi)^{p/2}\sqrt{\bf |S|})}$

де - квадратна відстань махаланобіса [Див. Вікіпедія Махаланобіська відстань] у просторі дискримінантів від точки до центру класу; - коваріаційна матриця між дискримінантами , що спостерігається в межах цього класу. $d$ $x$ $\bf S$

Обчисліть таким чином для кожного з класів. для точки та класу виражають шукане для нас . Але з вищезазначеним резервом, що PDF не є ймовірністю сама по собі, лише пропорційною їй, ми повинні нормалізувати , поділяючи на суму s над усіма класами. Наприклад, якщо всього 3 класи, , , , то $PDF(x|k)$ $P(k)*PDF(x|k)$ $x$ $k$ $P(k)*P(x|k)$ $P(k)*PDF(x|k)$ $P(k)*PDF(x|k)$ $k$ $l$ $m$

Точка LDA присвоюється класу, для якого є найвищим. $x$ $P(k|x)$

Примітка. Це був загальний підхід. Багато програм LDA за замовчуванням використовують об'єднану матрицю класу для всіх класів у формулі для PDF вище. Якщо так, формула значно спрощується, оскільки таке у LDA є матрицею ідентичності (див. Нижню виноску тут ), а отже, і перетворюється на евклідову відстань у квадраті (нагадування: об'єднане в межах класу ми говоримо, - це коваріації між дискримінантами, а не між вхідними змінними, матриця яких зазвичай позначається як ). $\bf S$ $\bf S$ $\bf |S|=1$ $d$ $\bf S$ $\bf S_w$

Доповнення . Перед тим, як вищевказаний підхід до правила класифікації Байєса був введений в LDA, Фішер, піонер LDA, запропонував обчислити так звані функції лінійної класифікації Фішера для класифікації точок у LDA. Для точки оцінка функції приналежності до класу є лінійною комбінацією , де є змінними провісника в аналізі. $x$ $k$ $b_{kv1}V1_x+b_{kv2}V2_x+...+Const_k$ $V1, V2,...V_p$

Коефіцієнт , - кількість класів, а - елемент об'єднаного розсіювача класу матриця змінних. $b_{kv}=(n-g)\sum_w^p{s_{vw}\bar{V}_{kw}}$ $g$ $s_{vw}$ $p$ $V$

$Const_k=\log(P(k))-(\sum_v^p{b_{kv}\bar{V}_{kv}})/2$ .

Точка присвоюється класу, для якого її бал є найвищим. Результати класифікації, отримані цим методом Фішера (який обходить вилучення дискримінантів, що беруть участь у складному ейгендекомпозиції), ідентичні тим, отриманим методом Байєса, лише якщо об'єднана матриця коваріації класу використовується методом Байєса на основі дискримінантів (див. "Примітка" вище), і всі дискримінанти використовуються в класифікації. Метод Байєса є більш загальним, оскільки він дозволяє використовувати і окремі матриці класу. $x$

— ttnphns
джерело

Це байєсівський підхід? Який підхід Фішера до цього?

— zca0

Додано до відповіді на ваш запит

— ttnphns

+1 для розрізнення підходу ЛДА Байєса та Фішера. Я новачок в LDA, і книги, які я читаю, вчать мене LDA в підході Байєса, який класифікує до класу з найвищим , тому мені доведеться обчислити всі для кожного класу , правда? За підходом Фішера мені просто потрібно з'ясувати дискримінантів та їх відповідних кофе, і не потрібно обчислювати задній для кожного класу, правда?

X

$X$

K

$K$

p (K | X)

$p(K|X)$

p (K | X)

$p(K|X)$

K

$K$

— авокадо

І я вважаю, що підхід Байєса є більш зрозумілим, і навіщо нам використовувати підхід Фішера?

— авокадо

Нам це не потрібно. Тільки для історичної справи.

— ttnphns

Припустимо рівні ваги для двох типів помилок у задачі двох класів. Припустимо, два класи мають умовну щільність класу багатовимірних класифікаційних змінних. Тоді для будь-якого спостережуваного вектора та класової умовної щільності та правило Байєса класифікує як належність до групи 1, якщо і як клас 2 в іншому випадку. Правило Байєса виявляється лінійним дискримінантним класифікатором, якщо і $x$ $f_1(x)$ $f_2(x)$ $x$ $f_1(x) \geq f_2(x)$ $f_1$ $f_2$ обидві багатоваріантні нормальні щільності з однаковою матрицею коваріації. Звичайно, щоб можна було з користю розрізнити середні вектори, повинні бути різними. Приємне уявлення про це можна знайти в класифікації та аналізу сцени Дуда та Харт 1973 року (книга нещодавно була переглянута, але особливо мені подобається презентація в оригінальному виданні).

— Майкл Р. Черник
джерело