Чому LDA, що вивчає Scitit Python, не працює належним чином і як він обчислює LDA за допомогою SVD?

Я використовував лінійний дискримінантний аналіз (LDA) з scikit-learnбібліотеки машинного навчання (Python) для зменшення розмірності і трохи цікавився результатами. Мені зараз цікаво, чим scikit-learnзаймається LDA , щоб результати виглядали інакше, ніж, наприклад, ручний підхід або LDA, зроблені в Р. Було б чудово, якби хтось міг дати мені тут деяку інформацію.

Що в основному найбільше стосується, це те, що scikit-plotпоказує кореляцію між двома змінними, де має бути кореляція 0.

Для тесту я використовував набір даних Iris, і перші 2 лінійних дискримінанта виглядали так:

IMG-1. LDA через scikit-learn

введіть тут опис зображення

Це в основному відповідає результатам, які я знайшов у документації, що навчається тут.

Тепер я пройшов крок за кроком LDA і отримав іншу проекцію. Я спробував різні підходи, щоб з’ясувати, що відбувається:

IMG-2. LDA щодо необроблених даних (без центрування, без стандартизації)

введіть тут опис зображення

І тут був би покроковий підхід, якби я спочатку стандартизував (нормалізація z-балів; відхилення одиниці). Я робив те саме, що робив лише середнє центрування, що повинно призвести до того самого відносного зображення проекції (і це було насправді).

IMG-3. Покрокова LDA після середнього центрування або стандартизації

введіть тут опис зображення

IMG-4. LDA в R (настройки за замовчуванням)

LDA в IMG-3, де я зосереджував дані (який був би кращим підходом), виглядає також точно так само, як той, який я знайшов у Пості від когось, хто зробив LDA в R введіть тут опис зображення

Код довідки

Я не хотів вставляти сюди весь код, але я завантажив його як зошит IPython, розбитий на кілька кроків, які я використав (див. Нижче) для проекції LDA.

Крок 1: Обчислення середньовимірних векторів $m_{i} = \frac{1}{n_{i}} \sum_{x \in D_{i}}^{n} x_{k}$ $\mathbf m_i = \frac{1}{n_i} \sum\limits_{\mathbf x \in D_i}^n \; \mathbf x_k$
Крок 2: Обчислення матриць розсіювання

2.1 Матриця розсіювання всередині класу обчислюється таким рівнянням: $S_W$

$S_{W} = \sum_{i = 1}^{c} S_{i} = \sum_{i = 1}^{c} \sum_{x \in D_{i}}^{n} (x - m_{i}) (x - m_{i})^{T}$ $S_W = \sum\limits_{i=1}^{c} S_i = \sum\limits_{i=1}^{c} \sum\limits_{\mathbf x \in D_i}^n (\mathbf x - \mathbf m_i)\;(\mathbf x - \mathbf m_i)^T$
2.2 Матриця розсіювання між класом обчислюється наступним рівнянням: де - загальне середнє значення. $S_B$

$S_{B} = \sum_{i = 1}^{c} n_{i} (m_{i} - m) (m_{i} - m)^{T}$ $S_B = \sum\limits_{i=1}^{c} n_i (\mathbf m_i - \mathbf m) (\mathbf m_i - \mathbf m)^T$ $\mathbf m$
Крок 3. Розв’язування узагальненої задачі власного значення для матриці $S_{W}^{-1}S_B$

3.1. Сортування власних векторів шляхом зменшення власних значень

3.2. Вибір k власних векторів з найбільшими власними значеннями. Об'єднання двох власних векторів з найвищими власними значеннями для побудови нашої -вимірної матриці власних векторів $d \times k$ $\mathbf W$
Крок 5: Перетворення зразків на новий підпростір
$y = W^{T} \times x .$ $\mathbf y = \mathbf W^T \times \mathbf x.$

— Амеба каже Відновити Моніку
джерело

Я не проходив пошуки відмінностей, але ви можете точно бачити, що робить наука у джерелі .

— Дугал

Схоже, вони також стандартизуються (центрування, а потім масштабування за допомогою поділу за стандартним відхиленням). Це, я б очікував на результат, схожий на той, що в моєму 3-му сюжеті (і на R), сюжет ... хм

Дивно: сюжет, який ви отримали з scikit (і той, який вони показують у своїй документації), не має сенсу. LDA завжди дає прогнози, які мають нульову кореляцію, але очевидно, що між прогнозами scikit на дискримінантні осі 1 і 2. існує дуже сильна кореляція. Щось там явно не так.

— амеба каже: Відновити Моніку

@ameoba Так, я теж думаю. Що також дивно, що той самий сюжет, який я демонструю для scikit, є у прикладі документації: scikit-learn.org/stable/auto_examples/decomposition/… Це змушує мене думати, що моє використання scikit правильно, але що є щось дивне про функцію LDA

@SebastianRaschka: Так, я помітив. Це справді дивно. Однак зауважте, що перший із ваших власних (non-scikit) сюжетів LDA також показує ненульову кореляцію, а значить, і з цим щось має бути не так. Ви відцентрували дані? Проекція на другу вісь, здається, не має нульової середньої величини.

— амеба каже, що повернеться до Моніки

Відповіді:

Оновлення: Завдяки цій дискусії scikit-learnоновлено та працює коректно зараз. Його вихідний код LDA можна знайти тут . Первісна проблема була пов’язана з незначною помилкою (див. Цю дискусію про Github ), і моя відповідь насправді не вказала на неї правильно (вибачте за будь-яку причину плутанини). Оскільки все це вже не має значення (виправлена помилка), я відредагував свою відповідь, щоб зосередитись на тому, як LDA можна вирішити за допомогою SVD, що є алгоритмом за замовчуванням scikit-learn.

Після визначення матриць розсіювання та між класами та , стандартним розрахунком LDA, як зазначено у вашому запитанні, є прийняття власних векторів як дискримінантні осі ( див. наприклад тут ). Однак ті ж осі можна обчислити дещо по-іншому, використовуючи матрицю відбілювання: $\boldsymbol \Sigma_W$ $\boldsymbol \Sigma_B$ $\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B$

Обчислити . Це трансформація відбілювання відносно об'єднаної коваріації в межах класу (детальніше див. Мою пов'язану відповідь). $\boldsymbol \Sigma_W^{-1/2}$

Зауважте, що якщо у вас є власне-розкладання , то . Зауважте також, що один обчислити те ж саме, виконавши SVD об'єднаних даних у межах класу: . $\boldsymbol \Sigma_W = \mathbf{U}\mathbf{S}\mathbf{U}^\top$ $\boldsymbol \Sigma_W^{-1/2}=\mathbf{U}\mathbf{S}^{-1/2}\mathbf{U}^\top$ $\mathbf{X}_W = \mathbf{U} \mathbf{L} \mathbf{V}^\top \Rightarrow \boldsymbol\Sigma_W^{-1/2}=\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$
Знайдіть власні вектори , назвемо їх . $\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}$ $\mathbf{A}^*$

Знову зауважте, що ви можете обчислити це, зробивши SVD даних між класом , трансформованими з , тобто дані між класами, побілені щодо внутрішнього класу коваріація. $\mathbf{X}_B$ $\boldsymbol \Sigma_W^{-1/2}$
Дискримінантні осі будуть задані , тобто головними осями перетворених даних, перетворених знову . $\mathbf A$ $\boldsymbol \Sigma_W^{-1/2} \mathbf{A}^*$

Дійсно, якщо є власним вектором наведеної вище матриці, то і помноживши зліва на і визначивши , ми одержуємо негайно : $\mathbf a^*$
$Σ_{W}^{- 1 / 2} Σ_{B} Σ_{W}^{- 1 / 2} a^{*} = λ a^{*},$ $\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}\mathbf a^* = \lambda \mathbf a^*,$ $\boldsymbol \Sigma_W^{-1/2}$ $\mathbf a = \boldsymbol \Sigma_W^{-1/2}\mathbf a^*$ $Σ_{W}^{- 1} Σ_{B} a = λ a .$ $\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B \mathbf a = \lambda \mathbf a.$

Підсумовуючи, LDA еквівалентно відбілюванню матриці засобів класу щодо коваріації в межах класу, виконанню PCA на засобі класу та зворотному перетворенню отриманих головних осей у вихідний (неприбраний) простір.

На це вказується, наприклад, у розділі "Елементи статистичного навчання" , розділ 4.3.3. У scikit-learnце шлях за замовчуванням для обчислення LDA , тому що SVD матриці даних чисельно більш стабільні , ніж про власних розкладанні його ковариационной матриці.

Зауважте, що замість можна використовувати будь-яке відбілювання, і все одно працюватиме точно так само. У використовується (замість ), і це працює чудово (всупереч тому, що спочатку було написано у моїй відповіді). $\boldsymbol \Sigma_W^{-1/2}$ scikit-learn $\mathbf{L}^{-1}\mathbf{U}^\top$ $\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$

— Амеба каже Відновити Моніку
джерело

Дякую за цю приємну відповідь. Я ціную це, що ви знайшли час, щоб це красиво написати. Можливо, ви могли б згадати це в дискусії на GitHub; Я впевнений, що це може допомогти виправити LDA у наступній версії sci-kit

@SebastianRaschka: У мене немає облікового запису на GitHub. Але якщо хочете, ви можете надати там посилання на цю тему.

— амеба каже, що повернеться до Моніки

@amoeba: Підручники зазвичай описують LDA так, як ви робили - власне значення розкладання . Цікаво, що для багатьох реалізацій LDA я знаю різний підхід. Їх осі є векторами до класових засобів, перетворених на . Ваше рішення LDA є ортонормальною основою цих векторів. LDA Scikit-learn дає такі самі результати, як і ці реалізації, тому я не думаю, що насправді є помилка.

Σ_{W}^{- 1} Σ_{B}

$\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B$

Σ_{W}^{- 1}

$\boldsymbol \Sigma_W^{-1}$

— каземакасе

Для довідки, ось такі реалізації, про які я говорив: sourceforge.net/p/mlpy/code/ci/default/tree/mlpy/da.py#l24 github.com/sccn/BCILAB/blob/master/code/machine_learning / ... mathworks.com/matlabcentral/fileexchange / ...

— kazemakase

@kazemakase: Ну, звичайно, якщо є лише два класи, то має ранг 1, і все значно спрощує, оскільки єдиний власний вектор задається , де - засоби класу. Я думаю, що це ви мали на увазі раніше? Це добре висвітлено, наприклад, у підручнику Bishop ML, розділ 4.1.4. Але узагальнення до кількох класів вимагає власного аналізу (Там само, 4.1.6). Крім того , код scikit ( в тому , що ми обговорюємо тут!) Робить використання СВД, два рази на насправді.

Σ_{B}

$\boldsymbol \Sigma_B$

Σ_{W}^{- 1} Σ_{B}

$\boldsymbol \Sigma_W^{-1}\boldsymbol \Sigma_B$

Σ_{W}^{- 1} (μ_{1} - μ_{2})

$\boldsymbol \Sigma_W^{-1}(\boldsymbol\mu_1 - \boldsymbol\mu_2)$

μ_{i}

$\boldsymbol\mu_i$

— амеба каже, що повернеться до Моніки

Щоб закрити це питання, обговорене питання з LDA було виправлене в scikit-learn 0.15.2 .