Чим відрізняється відбілювання ZCA від відбілювання PCA?

Мене бентежить питання відбілювання ZCA та нормального відбілювання (що отримується шляхом ділення основних компонентів на квадратні корені власних значень PCA). Наскільки мені відомо,

x_{Z C A w h i t e} = U x_{P C A w h i t e},

$\mathbf x_\mathrm{ZCAwhite} = \mathbf U \mathbf x_\mathrm{PCAwhite},$ де

U

$\mathbf U$ - власні вектори PCA.

У чому полягає застосування відбілювання ZCA? Які відмінності між нормальним відбілюванням та відбілюванням ZCA?

pca dimensionality-reduction image-processing

— RockTheStar
джерело

За даними "Нейронні мережі: фокуси торгівлі", PCA та ZCA відрізняються лише обертанням.

— Мартін Тома

Відповіді:

Нехай ваші (по центру) дані зберігаються в $n\times d$ матриці $\mathbf X$ з $d$ функціями (змінними) у стовпцях і $n$ точками даних у рядках. Нехай матриця коваріації $\mathbf C=\mathbf X^\top \mathbf X/n$ має власні вектори в стовпцях $\mathbf E$ і власне значення на діагоналі $\mathbf D$ , так що $\mathbf C = \mathbf E \mathbf D \mathbf E^\top$ .

$\mathbf W_\mathrm{PCA} = \mathbf D^{-1/2} \mathbf E^\top$

$\mathbf W = \mathbf R \mathbf W_\mathrm{PCA}$ $\mathbf R$ $\mathbf E$

W_{Z C A} = E D^{- 1 / 2} E^{⊤} = C^{- 1 / 2} .

$\mathbf W_\mathrm{ZCA} = \mathbf E \mathbf D^{-1/2} \mathbf E^\top = \mathbf C^{-1/2}.$

$\|\mathbf X - \mathbf X \mathbf A^\top\|^2$ $\mathbf X \mathbf A^\top$ $\mathbf A = \mathbf W_\mathrm{ZCA}$

Відбілювання PCA та ZCA

Ліва підгрупа показує дані та її основні осі. Зверніть увагу на темне затінення у правому верхньому куті розподілу: воно позначає його орієнтацію. Рядки показані на другому субплоті: це вектори, на які прогнозуються дані. Після відбілювання (внизу) розподіл виглядає круглим, але зауважте, що він також виглядає повернутим --- темний кут зараз знаходиться на сході, а не на північно-східній стороні. Рядки відображаються на третьому підмножині (зауважте, що вони не є ортогональними!). Після відбілювання (внизу) розподіл виглядає круглим і орієнтований так само, як і спочатку. Звичайно, можна отримати від PCA відбілити дані в ZCA відбілити дані шляхом обертання з . $\mathbf W_\mathrm{PCA}$ $\mathbf W_\mathrm{ZCA}$ $\mathbf E$

Термін "ZCA", здається, був введений у Беллі та Сейновському в 1996 роців контексті незалежного аналізу компонентів і розшифровується як "аналіз нульового фазового компонента". Дивіться там докладнішу інформацію. Швидше за все, ви стикалися з цим терміном у контексті обробки зображень. Виявляється, що при застосуванні до набору природних зображень (пікселі як функції, кожне зображення у вигляді точки даних) головні осі виглядають як компоненти Фур'є із зростаючими частотами, див. Перший стовпець їх рисунка 1 нижче. Тож вони дуже "глобальні". З іншого боку, рядки трансформації ZCA виглядають дуже "локально", дивіться другий стовпчик. Це саме тому, що ZCA намагається якомога менше перетворити дані, і тому кожен рядок повинен бути ближчим до однієї оригінальної базової функції (це були б зображення із лише одним активним пікселем). І цього можливо досягти,

PCA і ZCA у Беллі та Сейновському, 1996

Оновлення

Більше прикладів фільтрів ZCA та зображень, трансформованих за допомогою ZCA, наведено у Крижевському, 2009, Навчання декількох шарів функцій із крихітних зображень , див. Також приклади у відповіді @ bayerj (+1).

Я думаю, що ці приклади дають уявлення про те, коли відбілювання ZCA може бути кращим для PCA. А саме, побілені ZCA зображення все ще нагадують звичайні зображення , тоді як побілені PCA зображення не схожі на звичайні зображення. Це, мабуть, важливо для таких алгоритмів, як звивисті нейронні мережі (як, наприклад, використано в роботі Крижевського), які разом обробляють сусідні пікселі і так сильно покладаються на локальні властивості природних зображень. Для більшості інших алгоритмів машинного навчання має бути абсолютно не важливо, чи дані побілені за допомогою PCA або ZCA.

— Амеба каже Відновити Моніку
джерело

Дякую! У мене виникає питання: так це означає, що ZCA в основному змінить доступ, але не сильно змінить позицію даних? (на основі вашої зони затінення). Також це означає, що коли ми робимо відбілювання, нам слід робити відбілювання ZCA? Як ми вирішили використовувати PCAwhitening або ZCA відбілювання?

— RockTheStar

(1) Я не точно впевнений, що ви маєте на увазі, але я би сказав так: ZCA розтягує набір даних, щоб зробити його кулястим, але намагається не повертати його (тоді як PCA дуже обертає його). (2) Насправді я думаю, що в більшості випадків не має значення, якщо ви використовуєте відбілювання PCA або ZCA. Єдина ситуація, яку я можу уявити, де ZCA може бути кращим, - це попередня обробка конволюційних нейронних мереж. Перегляньте оновлення моєї відповіді.

— амеба каже: Відновити Моніку

PCA - це як зробити перетворення Фур'є, ZCA - це як перетворення, множення та перетворення назад, застосовуючи (нульовий фаз) лінійний фільтр. Отже, що ми бачимо там, це імпульсна відповідь фільтра на кожен піксель. "Компоненти", що беруть участь в операції, ті ж самі, стовпці Е, які є "головними компонентами" ... Я маю на увазі, ви також можете називати рядки компонентів W, але я думаю, що важливо розуміти, що задіяні ті ж "основні компоненти", і коли ви застосовуєте ZCA, ви знову на початковому домені, тоді як з PCA вам потрібно "реконструювати" сигнал.

— ділбізеро

@dividebyzero +1 до вашого останнього коментаря, я думаю, це цінна перспектива. У будь-якому випадку, я сподіваюся, що значення моєї останньої цифри (яка взята із пов'язаного паперу) зараз зрозуміла.

— Амеба каже: Відновити Моніку

@learning На цій сторінці ви не бачите побілених зображень PCA! Вони показують "зображення з зменшеними розмірами PCA", тобто реконструкції за допомогою PCA, але не самі проекції PCA.

— амеба каже: Відновити Моніку

Враховуючи Ейгендекомпозицію матриці коваріації де - діагональна матриця власних значень звичайне відбілювання вдається до перетворення даних у простір, де матриця коваріації є діагональною: (з деяким зловживанням позначенням). Це означає, що ми можемо діагоналізувати коваріацію, перетворивши дані відповідно до

\bar{X} {\bar{X}}^{T} = L D L^{T}

$\bar{X}\bar{X}^T = LDL^T$

D = diag (λ_{1}, λ_{2}, \dots, λ_{n})

$D = \text{diag}(\lambda_1, \lambda_2, \dots, \lambda_n)$

\sqrt{D^{- 1}} L^{- 1} \bar{X} {\bar{X}}^{T} L^{- T} \sqrt{D^{- 1}} = \sqrt{D^{- 1}} L^{- 1} L D L^{T} L^{- T} \sqrt{D^{- 1}} = I

$\sqrt{D^{-1}}L^{-1}\bar{X}\bar{X}^TL^{-T}\sqrt{D^{-1}} = \sqrt{D^{-1}}L^{-1}LDL^TL^{-T}\sqrt{D^{-1}} \\ = \mathbf{I}$

\tilde{X} = \sqrt{D^{- 1}} L^{- 1} X .

$\tilde{X} = \sqrt{D^{-1}}L^{-1}X.$

Це звичайне відбілювання за допомогою PCA. Тепер ZCA робить щось інше - додає невеликий епсилон до власних значень і перетворює дані назад. Ось кілька зображень із даних CIFAR, встановлених до та після ZCA.

\tilde{X} = L \sqrt{(D + ϵ)^{- 1}} L^{- 1} X .

$\tilde{X} = L\sqrt{(D + \epsilon)^{-1}}L^{-1}X.$

Перед ZCA:

перед ZCA

Після ZCA з $\epsilon = 0.0001$

після ZCA 1e-4

Після ZCA з $\epsilon = 0.1$

після ZCA з .1

Для даних зору, дані високої частоти зазвичай проживають у просторі, що охоплюється нижчими власними значеннями. Отже, ZCA - це спосіб їх зміцнити, ведучи до більш помітних країв тощо.

— байерж
джерело

Чи не слід додавати епсилон перед прийомом зворотного? Я думаю, що його просто додають для стабілізації інверсії у випадку майже нульових власних значень. Так що насправді, якщо є сенс додавати його для відбілювання ZCA, то було б доцільно додавати його і для відбілювання PCA.

— Амеба каже: Відновити Моніку

Так, перед зворотним, спасибі. Оскільки це зазвичай робиться зі SVD на практиці, я не знаю, чи потрібна взагалі стабілізація інверсії.

— bayerj

Я додав ще одну картину, щоб показати ефект.

— байерж

+1, але у мене є низка подальших запитань і запитань. (1) Що я мав на увазі про епсилон, це те, що він не є специфічним для ZCA, його можна використовувати і для відбілювання PCA. (2) Я не впевнений, я розумію ваш коментар щодо SVD: SVD чи ні, потрібно інвертувати окремі значення, отже, необхідність у епсилоні. (3) Перетворення відбілювання PCA , ви написали це навпаки, і це робить обчислення у другій формулі неправильним ... (4) Хороші цифри, де вони з? (5) Чи знаєте ви, в яких ситуаціях відбілювання ZCA було б кращим від відбілювання PCA, і чому?

D^{- 1 / 2} L^{⊤}

$D^{-1/2}L^\top$

— амеба каже, що повернеться до Моніки

(1) домовились. Я не маю інтуїції щодо того, що це означає. (2) Мої знання про декомпозицію тут неповні, але я припускав, що класична інверсійна матриця на сингулярній матриці коваріації вийде з ладу, тоді як SVD на матриці даних, що породжує сингулярну коваріацію, не буде. (3) Спасибі, це виправить. (4) З мого коду :) (5) Я гіпотезую, що для багатьох алгоритмів, які дають неповні уявлення (наприклад, GainShape K-Means, Auto-кодери, RICA) та / або виконують подібну роботу, як алгебраїчна незалежність PCA шкодить, але У мене немає важких знань з цього приводу.

— bayerj