Які належні етапи попередньої обробки для проведення незалежного аналізу компонентів?

Які належні кроки для попередньої обробки моїх сигналів, щоб пізніше провести незалежний аналіз компонентів (ICA)? Я розумію, як, хоча подальше пояснення цього не шкодить, але мене більше цікавить, чому.

preprocessing ica

— Джонска
джерело

Я не впевнений, для чого вам потрібна попередня обробка. Чи є якась конкретна причина?

— Фонон

@Phonon Я стикався з слідчими, які надавали їм дані, перш ніж виконувати ICA. Я просто задумався, чи існує стандартний метод.

— jonsca

Дуже цікаво. Я хотів би побачити конструктивну відповідь.

— Phonon

У випадку спектрального аналізу на ЕЕГ-сигналах люди відбілюються, щоб зменшити домінуючий ефект спектру

спектра, який часто приховує цікаві речі на високих частотах. Там, принаймні, невелике обговорення цього тут в додаткових матеріалах. Чи це звичайна хитрість перед ICA зокрема, не впевнений. Чи є сигнали вашої програми EEG / MEG / LFP? Можливо, хтось, хто займається ICA, зможе зрозуміти це на повну відповідь, якщо моя думка правильна. Цікаве запитання - я прочитаю на ньому.

1 / f

${1}/{f}$

— ImAlsoGreg

@Gigili Це теж питання. Які з них вважаються нормальними кроками?

— jonsca

Незалежний аналіз компонентів (ICA) використовується для поділу лінійної суміші статистично незалежних і, головне, негауссових ^† компонентів на її складові. Стандартна модель для безшумної ICA є

x = A s

$\mathbf{x}=\mathbf{As}$

де - вектор спостереження або даних, - вихідний сигнал / вихідні компоненти (не-гауссова), а - вектор перетворення, який визначає лінійне змішування складових сигналів. Зазвичай і невідомі. $\mathbf{x}$ $\mathbf{s}$ $\mathbf{A}$ $\mathbf{A}$ $\mathbf{s}$

Попередня обробка

У ICA є дві основні стратегії попередньої обробки, а саме - центрування та відбілювання / кулірування. Основними причинами попередньої обробки є:

Спрощення алгоритмів
Зменшення розмірності задачі
Зменшення кількості параметрів, що підлягають оцінці.
Виділення особливостей набору даних не легко пояснюється середнім значенням та коваріацією.

Зі вступу Г. Лі та Дж. Чжан "Сферинг та його властивості", Індійський журнал статистики, Vol. 60, серія A, частина I, стор 119-133, 1998:

Можливо, важливі особливості, які цікавлять аналітиків даних, є грубими, кластерами чи іншим видом груп, а також концентрації поблизу кривих чи не- на поверхнях. Загалом, їх неможливо отримати за допомогою простого знання середньої вибірки та матриці коваріації. За цих обставин бажано відокремити інформацію, що міститься в середній матриці та коваріаційній матриці, і змушує нас досліджувати аспекти наших наборів даних, крім тих, що добре розуміють натуру. Центрування та сферизація - це простий та інтуїтивний підхід, який виключає середньоквадратичну інформацію та допомагає виділити структури за межами лінійної кореляції та еліптичної форми, а тому часто виконується перед вивченням дисплеїв чи аналізів наборів даних

1. Центрування:

Центрування - це дуже проста операція і просто стосується віднімання середнього . На практиці ви використовуєте середнє значення вибірки та створюєте новий вектор , де $\mathbb{E}\{\mathbf{x}\}$ $\mathbf{x}_c=\mathbf{x}-\overline{\mathbf{x}}$ $\overline{\mathbf{x}}$ - середнє значення даних. Геометрично віднімання середнього значення еквівалентно перекладу центру координат на початок. Середнє значення завжди може бути додане до результату в кінці (це можливо, тому що множення матриць є розподільним).

2. Відбілювання:

$\mathbb{E}\{\mathbf{x}_c\mathbf{x}_c^T\}=\mathbf{I}$

\hat{Σ} = C . x_{c} x_{c}^{T}

$\widehat{\mathbf{\Sigma}}=C.\mathbf{x}_c\mathbf{x}_c^T$

$C$ $\mathbf{x}$

x_{w} = {\hat{Σ}}^{- 1 / 2} x_{c}

$\mathbf{x}_w=\widehat{\mathbf{\Sigma}}^{-1/2}\mathbf{x}_c$

$\mathbf{I}$

s = RandomReal[{-1, 1}, {2000, 2}];
A = {{2, 3}, {4, 2}};
x = s.A;
whiteningMatrix = Inverse@CholeskyDecomposition[Transpose@x.x/Length@x];
y = x.whiteningMatrix;
FullGraphics@GraphicsRow[
  ListPlot[#, AspectRatio -> 1, Frame -> True] & /@ {s, x, y}]

введіть тут опис зображення

$\mathbf{s}$ $\mathbf{A}$

$\mathbf{x}_w=\mathbf{A}_w\mathbf{s}_w$ $\mathbf{A}_w$

\begin{aligned} E {x_{w} x_{w}^{T}} & = E {A_{w} s_{w} (A_{w} s_{w})^{T}} \\ = A_{w} E {s_{w} s_{w}^{T}} A_{w}^{T} \\ = A_{w} A_{w}^{T} = I \end{aligned}

$\begin{align} \mathbb{E}\{\mathbf{x}_w\mathbf{x}_w^T\}&=\mathbb{E}\{\mathbf{A}_w\mathbf{s}_w(\mathbf{A}_w\mathbf{s}_w)^T\}\\ &=\mathbf{A}_w\mathbb{E}\{\mathbf{s}_w\mathbf{s}_w^T\}\mathbf{A}_w^T\\ &=\mathbf{A}_w\mathbf{A}_w^T=\mathbf{I} \end{align}$

$\mathbf{s}_i$ $\mathbf{A}$

Якщо після перетворення є власні значення, близькі до нуля, то їх можна сміливо відкинути, оскільки вони є лише шумом і будуть лише утрудняти оцінку через "перенавчання".

3. Інша попередня обробка

У певних конкретних програмах можуть бути інші кроки попередньої обробки, які неможливо охопити у відповіді. Наприклад, я бачив кілька статей, в яких використовується журнал часових рядів, та кілька інших, які фільтрують часовий ряд. Хоча це може підходити для їх конкретного застосування / умов, результати переносяться не на всі поля.

^†_{Я вважаю, що можна використовувати ICA, якщо принаймні один із компонентів є гауссовим, хоча зараз не можу знайти посилання на це.}

Чому його називають «сферичним»?

$n$ $n$ {-1,1}NormalDistribution[]

введіть тут опис зображення

Перша - це щільність суглоба для двох некоррельованих гауссів, друга - під трансформацією, а третя - після відбілювання. На практиці видно лише кроки 2 і 3.

— Лорем Іпсум
джерело

Нічого собі, мені потрібно трохи взяти це все, але спасибі - заниження!

— jonsca

Вибачте, я думав, що вже прийняв це.

— jonsca