Який взаємозв'язок між незалежним компонентним аналізом та факторним аналізом?

Я новачок у незалежному аналізі компонентів (ICA) і просто розумію цей метод. Мені здається, що ІКА схожа на Факторний аналіз (FA) за одним винятком: ICA передбачає, що спостережувані випадкові величини є лінійною комбінацією незалежних компонентів / факторів, які не є гауссовими, тоді як класична модель FA передбачає, що спостережувані випадкові величини являють собою лінійну комбінацію корельованих, гауссових компонентів / факторів.

Чи точне вище?

multivariate-analysis factor-analysis ica

— stats_student
джерело

Цю відповідь на інше питання ( PCA ітеративно знаходить напрями найбільшої дисперсії; але як знайти цілий підпростір з найбільшою дисперсією? ) Варто переглянути.

— Пьотр Мігдал

введіть тут опис зображення

FA, PCA та ICA - всі "пов'язані", оскільки всі троє шукають базових векторів, проти яких прогнозуються дані, таким чином, щоб ви максимізували тут "критерії вставки". Розглядайте базові вектори як просто капсулювання лінійних комбінацій.

Наприклад, скажімо, що ваша матриця даних була матрицею x , тобто у вас є дві випадкові змінні та спостережень за кожною з них. Тоді скажемо, що ви знайшли базовий вектор . Коли ви виймаєте (перший) сигнал (називайте його вектором ), це робиться так: $\mathbf Z$ $2$ $N$ $N$ $\mathbf w = \begin{bmatrix}0.1 \\-4 \end{bmatrix}$ $\mathbf y$

y = w^{T} Z

$\mathbf {y = w^{\mathrm T}Z}$

Це просто означає "Помножте 0,1 на перший рядок своїх даних і відніміть 4 рази другий рядок своїх даних". Тоді це дає , що, звичайно, є x вектором, який має властивість, що ви максимізували його вставки-критерії. $\mathbf y$ $1$ $N$

То які ж критерії?

Критерії другого порядку:

У PCA ви знаходите базові вектори, які «найкраще пояснюють» дисперсію ваших даних. Перший базовий вектор (тобто найвищий рейтинг) буде тим, який найкраще відповідає всім варіаціям ваших даних. Другий також має цей критерій, але він повинен бути ортогональним для першого і так далі і так далі. (Виявляється, ці базові вектори для PCA - це не що інше, як власні вектори матриці коваріації ваших даних).

У FA є різниця між ним та PCA, тому що FA є генеративним, тоді як PCA - ні. Я бачив, як ФА описується як "PCA з шумом", де "шум" називають "специфічними факторами". Все-таки загальний висновок полягає в тому, що PCA і FA базуються на статистиці другого порядку (коваріації) і нічого вище.

Критерії вищого порядку:

В ICA ви знову знаходите базові вектори, але на цей раз ви хочете, щоб базові вектори давали результат, таким чином, що цей отриманий вектор є одним із незалежних компонентів вихідних даних. Це можна зробити, максимізувавши абсолютне значення нормованого куртозу - статистику четвертого порядку. Тобто ви проектуєте свої дані на якомусь базовому векторі і вимірюєте куртоз результату. Ви трохи змінюєте базовий вектор (зазвичай шляхом градієнтного підйому), а потім знову вимірюєте куртоз тощо. Зрештою вам трапиться базовий вектор, який дає результат, який має найвищий можливий куртоз, і це ваша незалежна компонент.

Наведена вище діаграма може допомогти вам візуалізувати її. Ви чітко бачите, як вектори ICA відповідають осям даних (незалежні один від одного), тоді як вектори PCA намагаються знайти напрямки, де дисперсія максимальна. (Дещо як результат).

Якщо на верхній діаграмі вектори PCA виглядають так, що майже відповідають векторам ICA, це просто випадково. Ось ще один приклад для різних даних та матриці змішування, де вони дуже різні. ;-)

введіть тут опис зображення

— Космічний
джерело

Здається, ви знайомі з обома методами. Як компетентна людина, ви можете відповісти, якщо ці методи по суті означають, що базові вектори є ортогональними? Як можна було виявити первинні чи незалежні компоненти, які мають ненульову проекцію один на одного, щось на зразок двох точкових хмар, орієнтованих приблизно під кутом 45 градусів один до одного?

— mbaitoff

@mbaitoff ICA відновить ортогональний набір векторів, так. По-друге, коли у вас є, як ви просите, два сигнали, які мають ненульову проекцію один на одного - саме це ICA намагається скасувати. Ось чому кінцеві вектори бази, знайдені ICA, є ортогональними один для одного. Потім, коли ви проектуєте свої дані на ці два нові вектори, вони будуть ортогональними один для одного.

— Спейсі

@Tarantula Я задав питання про те, про що я говорю: stats.stackexchange.com/questions/6575/… , ви можете побачити ілюстрацію, i.stack.imgur.com/U6fWb.png . Я не можу зрозуміти, як ортогональна основа описувала б ці дві хмари. Для мене очевидно, що два вектори, що описують основні напрямки коливань, не є ортогональними.

— mbaitoff

@mbaitoff Ви взяли свої дані з двох датчиків, і побудуєте їх один проти одного, і ви побачите ці два режими, тож ви знаєте, що вони принаймні співвідносяться. Тоді виникає питання, як можна спроектувати всі пункти, які у вас є, такі, що вони незалежні? (тобто на ортогональній основі, як, наприклад, ICA). Саме це знаходить для вас ICA. Я не розумію, що ви маєте на увазі, коли ви говорите "я не можу зрозуміти, як ортогональна основа описувала б ці дві хмари". Чому ні?

— Спейси

@Tarantula О, тепер я бачу, що це означає! Я подумав, що це як «пошук двох ортогональних векторів на оригінальній ділянці», а справді це означає «пошук двох векторів на оригінальній ділянці, проекцію, на яку вони зроблять їх ортогональними (незалежними)».

— mbaitoff

Не зовсім. Факторний аналіз працює з другими моментами, і справді сподівається, що дані є гауссовими, так що на коефіцієнти ймовірності та подібні речі не впливає ненормальність. ICA, з іншого боку, мотивована ідеєю, що коли ви додаєте речі, ви отримуєте щось нормальне, завдяки CLT, і дійсно сподівається, що дані не нормальні, так що ненормальні компоненти можуть бути вилучені з їх. Щоб використовувати ненормальність, ICA намагається максимізувати четвертий момент лінійної комбінації входів:

max_{a : ‖ a ‖ = 1} \frac{1}{n} \sum_{i} [a^{'} (x_{i} - \bar{x})]^{4}

$\max_{{\bf a}: \| {\bf a}\| =1} \frac1n \sum_i \bigl[ {\bf a}'({\bf x}_i-\bar {\bf x})\bigr]^4$

Якщо що, ICA слід порівнювати з PCA, який максимально збільшує другий момент (дисперсію) стандартизованої комбінації входів.

— СтасК
джерело

приємна і хрустка відповідь

— Subhash C. Davar

що тут 4-й момент? PL.EXPLAIN.

— Subhash C. Davar

@ subhashc.davar Четвертим моментом є куртоз - тобто ступінь, до якого дані були або важчі, або легші, ніж звичайний розподіл. en.wikipedia.org/wiki/Kurtosis

— javadba