Чи потрібно ICA спочатку запустити PCA?

Я переглянув документ, що базується на застосуванні, в якому сказано, що застосовувати PCA перед застосуванням ICA (використовуючи пакет FastICA). Моє запитання полягає в тому, чи вимагає ICA (fastICA) перший запуск PCA?

Цей документ згадував про це

... також стверджується, що попереднє застосування PCA підвищує продуктивність ICA шляхом (1) відкидання невеликих кінцевих власних значень перед відбілюванням та (2) зменшення обчислювальної складності за рахунок мінімізації парних залежностей. PCA декорує вхідні дані; решта залежностей вищого порядку розділені ICA.

Також інші документи застосовують PCA перед ICA, наприклад, цей .

Чи є інші плюси і мінуси для запуску PCA перед ICA? Будь ласка, надайте теорії посилання.

Підхід FastICA вимагає попереднього відбілювання: дані спочатку трансформуються за допомогою PCA, що призводить до діагональної коваріаційної матриці, а потім кожен вимір нормалізується таким чином, що матриця коваріації дорівнює матриці тотожності (відбілювання).

Існують нескінченні перетворення даних, які призводять до матриці коваріації ідентичності, і якби ваші джерела були гауссовими, ви зупинилися б на цьому (для багатоваріантних розподілів Гаусса середнє значення та коваріація є достатньою статистикою), за наявності неа-гауссових джерел ви можете мінімізувати деякі міра залежності від побілених даних, тому ви шукаєте обертання побілених даних, що забезпечує максимальну незалежність. FastICA досягає цього за допомогою інформаційно-теоретичних заходів та схеми ітерації з фіксованою точкою.

Я рекомендую роботу Hyvärinen, щоб глибше зрозуміти проблему:

• А. Hyvärinen. Швидкі та надійні алгоритми з фіксованою точкою для незалежного аналізу компонентів. Операції IEEE в нейронних мережах 10 (3): 626-634, 1999.
• А. Hyvärinen, J. Karhunen, E. Oja, Незалежний аналіз компонентів, Wiley & Sons. 2001 рік

Зверніть увагу, що робити PCA та зменшувати розміри - це не те саме: коли у вас більше спостережень (за сигнал), ніж сигналів, ви можете виконати PCA, зберігаючи 100% поясненої дисперсії, а потім продовжити відбілювання та ітерацію з фіксованою точкою. для отримання оцінки незалежних компонентів. Від того, чи слід проводити зменшення розмірів, чи ні, це дуже залежить від контексту, і це базується на ваших припущеннях моделювання та розподілі даних.

Застосування PCA до даних має єдиний ефект обертання оригінальних осей координат. Це лінійне перетворення, точно як, наприклад, перетворення Фур'є. Тому як такий він дійсно нічого не може зробити з вашими даними.

Однак дані, представлені в новому просторі PCA, мають деякі цікаві властивості. Після обертання координат за допомогою PCA ви можете відкинути деякі розміри на основі встановлених критеріїв, таких як відсоток від загальної дисперсії, пояснений новими осями. Залежно від сигналу, ви можете досягти значного зменшення розмірів за допомогою цього методу, і це, безумовно, збільшить продуктивність наступного ICA. Виконання ICA без викидання будь-якого з компонентів PCA не матиме впливу на результат наступного ICA.

Крім того, можна також легко відбілити дані в просторі PCA через ортогональність осей координат. Відбілювання має ефект вирівнювання дисперсій у всіх вимірах. Я заперечую, що це необхідно, щоб ICA працював належним чином. Інакше лише деякі компоненти PCA з найбільшими дисперсіями будуть домінувати над результатами ICA.

Я не бачу жодних недоліків для попередньої обробки на основі PCA перед ICA.

Джанкарло наводить вже найкращі посилання на ICA ...

Виведення алгоритму fastICA вимагає лише відбілювання за один крок. Спочатку ви вибираєте напрямок кроку (як градієнтний спуск), і для цього не потрібні побілені дані. Тоді ми маємо підібрати розмір кроку, який залежить від оберненості Гессі. Якщо дані побілені, то ця гессіанська діагональна і неперевернена.

Так це потрібно? Якщо ви просто зафіксували розмір кроку до постійного (тому не вимагає відбілювання), у вас був би стандартний спуск градієнта. Спуск градієнта з фіксованим невеликим розміром кроку зазвичай збігається, але, можливо, набагато повільніше, ніж оригінальний метод. З іншого боку, якщо у вас є велика матриця даних, то відбілювання може бути досить дорогим. Вам може бути краще навіть при повільнішому зближенні, яке ви отримуєте без відбілювання.

Я був здивований, не побачивши про це жодної літератури. В одному документі обговорюється проблема: нові алгоритми швидкої ICA для розділення сліпого джерела без попереднього вбирання Джиміна Йе і Тінг Хуан.

Вони пропонують дещо дешевший варіант відбілювання. Я б хотів, щоб вони включили очевидне порівняння просто запущеного ICA без відбілювання як базового рівня, але вони цього не зробили. В якості ще однієї точки даних я спробував запустити fastICA без відбілювання проблем з іграшками, і це спрацювало чудово.

Оновлення: тут є ще одна приємна посилання на відбілювання: надійний аналіз незалежних компонентів, Zaroso та Comon . Вони надають алгоритми, які не потребують відбілювання.