Як обчислити вагу критерію Фішера?

Я вивчаю розпізнавання образів і машинне навчання, і я натрапив на таке питання.

Розглянемо двокласну задачу класифікації з рівною ймовірністю попереднього класу

$$P(D_1)=P(D_2)= \frac{1}{2}$$

і розподіл примірників у кожному класі, заданий

$$p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right),$$

$$p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right).$$

Як обчислити вагу критерію Фішера?

Оновлення 2: Розрахункова вага, що надається моєю книгою, становить: .$W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} \end{bmatrix}$

Оновлення 3: Як натякнув @xeon, я розумію, що я повинен визначити лінію проекції для дискримінанта Фішера.

Оновлення 4: Нехай - напрямок лінії проекції, тоді лінійний дискримінантний метод Фішера виявляє, що найкращим є той, для якого максимальна функція критерію. Залишилося завдання - як ми можемо отримати числовий вектор?$W$$W$$W$

Слідуючи документу, до якого ви посилаєтесь (Mika et al., 1999) , ми повинні знайти який максимізує так званий узагальнений коефіцієнт Релея ,$\mathbf{w}$

$$\frac{\mathbf{w}^\top \mathbf{S}_B \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_W \mathbf{w}},$$

де для засобів та covariances ,C 1 , C$\mathbf{m}_1, \mathbf{m}_2$$\mathbf{C}_1, \mathbf{C}_2$

$$\begin{align} \mathbf{S}_B &= (\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}_2)^\top, & \mathbf{S}_W &= \mathbf{C}_1 + \mathbf{C}_2. \end{align}$$

Розв’язання можна знайти, вирішивши узагальнену задачу про власне значення шляхом першого обчислення власні значення шляхом вирішення а потім вирішення для власного вектора . У вашому випадку Визначник цієї матриці 2х2 можна обчислити вручну.

$$\begin{align} \mathbf{S}_B\mathbf{w} = \lambda \mathbf{S}_W\mathbf{w}, \end{align}$$ $\lambda$ $$\begin{align} \det(\mathbf{S}_B - \lambda \mathbf{S}_W) = 0 \end{align}$$ $\mathbf{w}$ $$\mathbf{S}_B - \lambda \mathbf{S}_W = \begin{pmatrix}16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda\end{pmatrix}.$$

Власний вектор з найбільшим власним значенням максимально збільшує коефіцієнт Релея. Замість того, щоб робити обчислення вручну, я вирішив узагальнену задачу про власне значення в Python за допомогою scipy.linalg.eigі отримав що відрізняється від рішення, яке ви знайшли у своїй книзі. Нижче я побудував оптимальну гіперплан вектору ваги, який я знайшов (чорний) та гіперплана вектору ваги, знайденого у вашій книзі (червоний).

$$w_1 \approx 0.5547, w_2 \approx 0.8321,$$

$\hskip1in$

$\mathbf{SOLUTION 1:}$

Слідом за Дудою та ін. (Шаблон CLassification), який має альтернативне рішення для @lucas, і в цьому випадку дає дуже просто обчислити рішення вручну. (Сподіваюся, що це альтернативне рішення допомагає !! :))

У двох класах LDA мета:

$\frac{w^TS_Bw}{w^TS_Ww}$ що просто означає, що збільшується між дисперсією класу та зменшується дисперсія класу.

де і , тут - матриця коваріації і - засоби класів 1 і 2 відповідно.$S_B = (m_1-m_2)(m_1-m_2)^T$$S_W = S_1 + S_2$$S_1,S_2$$m_1,m_2$

Рішення цього узагальненого коефіцієнта Релі - узагальнена проблема власного значення.

$S_Bw = \lambda S_Ww \rightarrow {S_W}^{-1}S_Bw = \lambda w$

Вищеописаний препарат має розчин закритої форми. - матриця 1-го рангу з базою тому яку можна нормалізувати, щоб отримати відповідь.$S_B$$m_1-m_2$$w \propto {S_W}^{-1}(m1-m2)$

Я щойно підрахував і отримав [0,5547; 0,8321].$w$

${S_W}^{-1}(m1-m2) = {(S_1 + S_2)}^{-1}(m1 - m2) = {(\begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})}^{-1}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) ={(\begin{bmatrix} 1/3 & 0 \\ 0 & 1/2 \end{bmatrix})}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) = \begin{bmatrix} -1.3333 \\ -2.0000 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Посилання: Класифікація візерунків за Дудою, Харт, Лелекою

$\mathbf{SOLUTION 2:}$

Альтернативно, це можна вирішити, знайшовши власний вектор до узагальненої задачі про власне значення. $S_Bw = \lambda S_Ww$

Поліном у лямбда може бути утворений і рішення цього полінома будуть власне значенням для . Тепер скажемо, що ви отримали набір власних значень як корені многочлена. Тепер замінимо і отримаємо відповідний власний вектор як рішення лінійної системи рівнянь . Роблячи це для кожного i, ви можете отримати набір векторів і це набір власних векторів як рішень.$determinant(S_B - \lambda S_W)$$S_Bw = \lambda S_Ww$$\lambda_1,\lambda_2, ..., \lambda_n,$$\lambda = \lambda_i, i \in \{1,2,..,n\}$$S_Bw_i = \lambda_i S_Ww_i$$\{w_i\}_{i=1}^{n}$

$determinant(S_B - \lambda S_W) = \begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix} =6\lambda^2 - 80\lambda$ , тому значення власних значень корені до многочлена .$6\lambda^2 - 80\lambda$

Тож 0 і 40/3 - це два рішення. Для LDA рішенням є власний вектор, що відповідає найвищому значенню власного значення.$\lambda=$

Рішення системи рівнянь і$(S_B - \lambda_i S_W)w_i = 0$$\lambda_i = 40/3$

який виявляється$\begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix}w_i \propto \begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}w_i = 0$

Розв’язанням вищевказаної системи рівняння є що є таким же, як і попереднє рішення.$\begin{bmatrix} -0.5547 \\ -0.8321 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Як варіант, можна сказати, що лежить у нульовому просторі .$\begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$$\begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}$

Для двох класів LDA рішенням є власний вектор з найвищим значенням власного значення. Взагалі, для LDA класу C перші рішення є власними векторами C - 1 з найвищими значеннями C - 1.

Це відео пояснює, як обчислити власні вектори для простої задачі про власне значення. ( https://www.khanacademy.org/math/linear-algebra/alternate_bases/eigen_everything/v/linear-algebra-finding-eigenvectors-and-eigenspaces-example )

Далі наводимо приклад. http://www.sosmath.com/matrix/eigen2/eigen2.html

Багатокласний LDA: http://en.wikipedia.org/wiki/Linear_discriminant_analysis#Multiclass_LDA

Обчислення нульового простору матриці: https://www.khanacademy.org/math/linear-algebra/vectors_and_spaces/null_column_space/v/null-space-2-calculating-the-null-space-of-a-matrix