Зрозуміла розбіжність джерел щодо лінійного, квадратичного та дискримінаційного аналізу Фішера

Я вивчаю дискримінантний аналіз, але мені важко узгодити кілька різних пояснень. Я вважаю, що мені щось треба бракувати, тому що я ніколи раніше не стикався з цим (здавалося б) рівнем розбіжності. Незважаючи на це, кількість запитань щодо дискримінаційного аналізу на цьому веб-сайті здається свідченням його складності.

LDA та QDA для декількох класів

Моя основна підручник - це багатосторонній статистичний аналіз Johnson & Wichern (AMSA), і на цьому спираються записки мого вчителя. Я проігнорую налаштування двох груп, тому що я вважаю, що спрощена формула в цій настройці викликає хоч деяку плутанину. Відповідно до цього джерела LDA та QDA визначаються як параметричне (припускаючи багатоваріантну нормальність) розширення правила класифікації на основі очікуваної вартості помилкової класифікації (ECM). ECM підсумовує понад умовні очікувані витрати для класифікації нового спостереження x до будь-якої групи (включаючи витрати на помилкову класифікацію та попередні ймовірності), і ми обираємо класифікаційні регіони, які мінімізують це. де

$$ECM = \sum_{i=1}^{groups} p_i [\sum_{k=1;\space i \ne k}^{groups}P(k|i)c(k|i)]$$ $P(k|i) = P(\text{classifying item as group k } | \text{ item is group i}) = \int_{R_k} f_i(\boldsymbol{x})d\boldsymbol{x}$ , $f_i(\boldsymbol{x})$ - щільність населення, $R_k$ - сукупність спостережень у групі k, $c$ - вартість, а $p_i$ - попередні ймовірності. Потім можуть бути віднесені нові спостереження до групи, для якої внутрішній доданок найменший або еквівалентний, для якого ліва частина внутрішньої точки $p_k f_k(\boldsymbol{x})$ є найбільшою

Імовірно, це класифікаційне правило еквівалентно "такому, що максимально збільшує задні ймовірності" (sic AMSA), про який я можу лише припустити, що це я бачив підхід Байєса. Це правильно? І чи це метод ECM старіший, тому що я ніколи не бачив, щоб він відбувався більше ніде.

Для нормальної сукупності це правило спрощує показник квадратичного дискримінанта: .

$$d_i^Q(\boldsymbol{x}) = -\frac{1}{2} log(\boldsymbol{\Sigma_i}) -\frac{1}{2} (\boldsymbol{x - \mu_i})^T \boldsymbol{\Sigma}_i^{-1}(\boldsymbol{x - \mu_i}) + log(p_i)$$

Це здається еквівалентним формулі 4.12 Елементи статистичного навчання (ESL) на сторінці 110, хоча вони описують це як квадратичну дискримінантну функцію, а не бал . Більше того, вони надходять сюди через коефіцієнт log багатоваріантної щільності (4.9). Це ще одна назва підходу Байєса?

Коли ми припускаємо рівну коваріантність, формула ще більше спрощує лінійний дискримінантний бал .

$$d_i(\boldsymbol{x}) = \boldsymbol{\mu_i}^T \boldsymbol{\Sigma}^{-1}\boldsymbol{x} -\frac{1}{2} \boldsymbol{\mu_i}^T \boldsymbol{\Sigma}^{-1} \boldsymbol{\mu_i} + log(p_i)$$

Ця формула дійсно відрізняється від ESL (4.10), де перший сторнується: . Версія ESL також є в списку в Статистичному навчанні в R . Більше того, у висновку SAS, представленому в AMSA, описана лінійна дискримінантна функція , що складається з постійної та коефіцієнта вектор , здавалося б, відповідає версії ESL.$x^T \boldsymbol{\Sigma}^{-1}\mu_k$$0.5 \bar{X}_j^T COV^{-1}\bar{X}_j + ln \text{ prior}_j$$COV^{-1}\bar{X}_j$

Що може бути причиною цієї розбіжності?

Дискримінант та метод Фішера

Примітка: якщо це питання буде визнано занадто великим, я видалю цей розділ і відкрию нове запитання, але воно базується на попередньому розділі. Вибачте за стіну тексту незалежно, я намагався дещо структурувати його, але я впевнений, що моя плутанина щодо цього методу призвела до певних досить дивних стрибків логіки.

Книга AMSA продовжує описувати метод рибалки, також для кількох груп. Тим НЕ менше, ttnphns зазначив кілька разів , що FDA просто LDA з двома групами. Що це тоді за багатокласний FDA? Можливо, FDA може мати кілька значень?

AMSA описує дискримінантів Фішера як власні вектори які максимізують співвідношення . Лінійні комбінації - це вибіркові дискримінанти (яких є ). Для класифікації вибираємо групу k з найменшим значенням для де r - кількість дискримінантів, які ми хотіли б використати. Якщо ми будемо використовувати всі дискримінанти, це правило було б еквівалентно лінійній дискримінантній функції.$\boldsymbol{W^{-1}B}$$\boldsymbol{\frac{\hat{a}^TB\hat{a}}{\hat{a}^TW\hat{a}}}$$\boldsymbol{\hat{e}_ix}$$min(g-1, p)$$\sum_{j=1}^{r}[\boldsymbol{\hat{e}_j^T}(\boldsymbol{x}-\boldsymbol{\bar{x}}_k)]^2$

Багато пояснень щодо LDA, схоже, описують методологію, яка називається FDA у книзі AMSA, тобто починаючи з цього між / в межах аспекту мінливості. Що тоді мається на увазі під FDA, якщо не розкладання матриць BW?

Це вперше в текстовій книзі згадується аспект зменшення розмірності дискримінантного аналізу, тоді як кілька відповідей на цьому веб-сайті підкреслюють двоступеневий характер цієї методики, але це не ясно в двох групах, оскільки існує лише 1 дискримінантний. З огляду на вищезазначені формули для багатокласових LDA та QDA, мені все ще не видно, де проявляються дискримінанти.

Цей коментар особливо збентежив мене, зазначивши, що класифікація Байєса по суті може бути виконана на оригінальних змінних. Але якщо FDA і LDA математично еквівалентні як було зазначено в книзі , і тут не слід скорочення розмірності бути притаманні функції ? Я вважаю, що саме це стосується останнього посилання, але я не зовсім впевнений.$d_i$

Курсові записки мого викладача продовжують пояснювати, що FDA є, по суті, формою канонічного кореляційного аналізу. Я знайшов лише одне інше джерело, яке розповідає про цей аспект, але воно, здається, ще раз тісно пов'язане з підходом Фішера щодо декомпозиції змінної між і в межах. SAS представляє результат у своїй процедурі LDA / QDA (DISCRIM), яка, очевидно, пов'язана з методом Фішера ( https://stats.stackexchange.com/a/105116/62518 ). Однак опція FDA SAS (CANDISC) по суті виконує канонічну кореляцію, не представляючи цих так званих класифікаційних коефіцієнтів Фішера. У ньому представлені неочищені канонічні коефіцієнти, які, на мою думку, еквівалентні власним векторам R-1B R, отриманим lda (MASS) (https://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_candisc_sect019.htm ). Коефіцієнти класифікації, мабуть, отримані з дискримінантної функції, яку я описав у розділі LDA та QDA (оскільки на 1 населення існує 1 функція, і ми обираємо найбільшу).

Буду вдячний за будь-які роз’яснення чи посилання на джерела, які могли б допомогти мені побачити ліс через дерева. Основна причина моєї плутанини, здається, полягає в тому, що різні підручники називають методи різними іменами або представляють незначну зміну математики, не визнаючи інших можливостей, хоча, мабуть, це не повинно стати несподіванкою, враховуючи вік книги AMSA .

Я звертаюся лише до одного аспекту питання і роблю це інтуїтивно без алгебри.

Якщо класи мають однакові дисперсійно-коваріаційні матриці і відрізняються лише зміщенням своїх центроїдів у -вимірному просторі, то вони повністю лінійно відокремлюються у підпросторі . Це те, що робить LDA. Уявіть, що у просторі змінних вас є три однакові еліпсоїди . Ви повинні використовувати інформацію з усіх змінних, щоб прогнозувати приналежність до класу без помилок. Але через те, що це були однакові розміри та орієнтовані хмари, можна змінити їх масштаб шляхом загального перетворення на кулі одиничного радіуса. Тоді$g$$p$$q=min(g-1,p)$$V_1, V_2, V_3$$q=g-1=2$Незалежних вимірів буде достатньо, щоб передбачити приналежність до класу так само точно, як раніше. Ці розміри називаються дискримінантними функціями . Маючи 3 кулі однакових розмірів точок, вам потрібно лише 2 осьових лінії та знати координати центрів кульок на них, щоб правильно призначити кожну точку.$D_1, D_2$

Дискримінанти - це некорельовані змінні, їх коваріаційні матриці в межах класу є ідеально ідентичними (кулями). Дискримінанти утворюють підпростір вихідного простору змінних - це їх лінійні комбінації. Однак вони не є ротаційними (PCA-подібними) осями: видно в оригінальному просторі змінних, дискримінанти як осі не є взаємно ортогональними .

Отже, за припущенням про однорідність варіанто-коваріацій класу LDA, що використовують для класифікації всі існуючі дискримінанти, не гірше, ніж негайно класифікувати за вихідними змінними. Але вам не доведеться використовувати всіх дискримінантів. Ви можете використовувати лише перших найбільш сильних / статистично значущих з них. Таким чином, ви втрачаєте мінімальну інформацію для класифікації, і пропуск класифікації буде мінімальним. Якщо дивитися з цієї точки зору, LDA - це зменшення даних, подібне до PCA, лише під наглядом.$m<q$

Зауважте, що припускаючи однорідність (+ багатоваріантність нормальності) і за умови, що ви плануєте використовувати, але всі дискримінанти в класифікації, можна обійти вилучення самих дискримінантів - що передбачає узагальнену власну проблему - та обчислити так звану "класифікаційну функцію Фішера" від змінних безпосередньо, для того , щоб класифікувати з ними , з еквівалентним результатом. Таким чином, коли класи однакові за формою, ми можемо вважати вхідні змінні або функції Фішера або дискримінантами всіма еквівалентними наборами "класифікаторів". Але дискримінанти у багатьох відношеннях зручніші. $g$$p$$g$$q$$^1$

Оскільки зазвичай класи не є "однаковими еліпсами" насправді, класифікація за дискримінантами дещо бідніша, ніж якщо ви робите класифікацію Байєса за всіма вихідними змінними. Наприклад, на цій ділянці два еліпсоїди не паралельні один одному; і можна візуально зрозуміти, що одного існуючого дискримінанта недостатньо, щоб класифікувати точки так точно, як це дозволяють дві змінні. QDA (квадратичний дискримінантний аналіз) був би тоді кроком кращим наближенням, ніж LDA. Практичним підходом на півдорозі між LDA та QDA є використання LDA-дискримінантів, але використання спостережуваних коваріаційних матриць окремого класу при класифікації ( див. , Див. Див.$q$$p$) замість їх об'єднаної матриці (яка є тотожністю).

(І так, LDA можна розглядати як тісно пов'язаний навіть з конкретним випадком аналізу MANOVA та Canonical кореляції або багатоваріантної регресії зі зниженим рангом - див. , Див. , Див .)

---

$^1$ Важлива термінологічна примітка. У деяких текстах класифікаційних функцій Фішера можна назвати «дискримінантні функції Фішера», який може сплутати з discriminats які є канонічними дискримінантному функціями (тобто отримані в eigendecomposition з$g$$q$$\bf W^{-1}B$). Для наочності я рекомендую сказати "Класифікаційні функції Фішера" проти "канонічні дискримінантні функції" (= дискримінант, коротше). У сучасному розумінні LDA є канонічним лінійним дискримінантним аналізом. "Дискримінантний аналіз Фішера" - це, принаймні, на мій обізнаність, або LDA з 2 класами (де єдиний канонічний дискримінант неминуче те саме, що класифікаційні функції Фішера), або, в цілому, обчислення класифікаційних функцій Фішера в багатокласових настройках.