Чи завжди відбілювання добре?

Поширений крок попередньої обробки алгоритмів машинного навчання - відбілювання даних.

Здається, що завжди добре робити відбілювання, оскільки це де-корелює дані, спрощуючи моделювання.

Коли відбілювання не рекомендується?

Примітка: я маю на увазі декореляцію даних.

Попереднє відбілювання - це узагальнення нормалізації ознак, що робить вхід незалежним шляхом перетворення його на трансформовану матрицю вхідної коваріації. Я не бачу, чому це може бути погано.

Однак швидкий пошук виявив "Доцільність відбілювання даних для поліпшення роботи метеорологічного радіолокатора" ( pdf ):

Зокрема, відбілювання добре спрацювало у випадку експоненціальної АЧС (що узгоджується з результатами Монакова), але менш добре у випадку з гауссом. Після чисельних експериментів ми з’ясували, що випадок Гаусса чисельно погано обумовлений у тому сенсі, що число умови (відношення максимального до мінімального власного значення) надзвичайно велике для матриці коваріації Гаусса.

Я недостатньо освічений, щоб коментувати це. Можливо, відповідь на ваше запитання полягає в тому, що відбілювання завжди добре, але є певні прийоми (наприклад, зі випадковими даними воно не вийде добре, якщо це зробити через функцію автокореляції Гаусса).

По-перше, я вважаю, що декореляція та відбілювання - це дві окремі процедури.

Для декореляції даних нам потрібно перетворити їх так, щоб перетворені дані мали діагональну матрицю коваріації. Це перетворення можна знайти, вирішивши задачу про власне значення. Ми знаходимо власні вектори та пов'язані з ними власні значення матриці коваріації шляхом розв’язання${\bf \Sigma} = {\bf X}{\bf X}'$

$${\bf \Sigma}{\bf \Phi} = {\bf \Phi} {\bf \Lambda}$$

де - діагональна матриця, що має власні значення як діагональні елементи.${\bf \Lambda}$

Матриці таким чином , діагоналізует ковариационная матриця X . Стовпці Φ - це власні вектори матриці коваріації.${\bf \Phi}$${\bf X}$${\bf \Phi}$

Ми також можемо записати діагоналізовану коваріацію як:

$${\bf \Phi}' {\bf \Sigma} {\bf \Phi} = {\bf \Lambda} \tag{1}$$

Отже, щоб декорелювати один вектор , робимо:${\bf x}_i$

$${\bf x}_i^* = {\bf \Phi}' {\bf x}_i \tag{2}$$

Діагональні елементи (власні значення) у можуть бути однаковими або різними. Якщо ми зробимо їх однаковими, то це називається відбілюванням даних. Оскільки кожне власне значення визначає довжину пов'язаного з ним власного вектора, коваріація буде відповідати еліпсу, коли дані не побілені, і кулі (що має всі розміри однакової довжини або однакові), коли дані побілені. Відбілювання виконується наступним чином:${\bf \Lambda}$

$${\bf \Lambda}^{-1/2} {\bf \Lambda} {\bf \Lambda}^{-1/2} = {\bf I}$$

Рівно підставляючи , пишемо:$(1)$

$${\bf \Lambda}^{-1/2} {\bf \Phi}' {\bf \Sigma} {\bf \Phi} {\bf \Lambda}^{-1/2} = {\bf I}$$

Таким чином, щоб застосувати це Відбілювання перетворення до ми просто помножити його на цьому масштабному коефіцієнті, отримання вибілених точок даних х † я :${\bf x}_i^*$${\bf x}_i^\dagger$

$${\bf x}_i^{\dagger} = {\bf \Lambda}^{-1/2} {\bf x}_i^* = {\bf \Lambda}^{-1/2}{\bf \Phi}'{\bf x}_i \tag 3$$

Тепер ковариация не тільки по діагоналі, але і рівномірна (білий), так як ковариация х † я , Е ( х † я х † я ' ) = I .${\bf x}_i^\dagger$${\bf x}_i^\dagger$${\bf E}({\bf x}_i^\dagger {{\bf x}_i^\dagger}') = {\bf I}$

${\bf \Sigma}$

І, нарешті, є загальна "готча", з якою люди повинні бути обережними. Потрібно бути обережним, що ви обчислюєте коефіцієнти масштабування на даних тренувань , а потім використовуєте рівняння (2) та (3), щоб застосувати ті самі коефіцієнти масштабування до даних тесту, інакше ви ризикуєте переоцінити (ви б використовували інформація з тестового набору в навчальному процесі).

Джерело: http://courses.media.mit.edu/2010fall/mas622j/whiten.pdf

З http://cs231n.github.io/neural-networks-2/

Однією з слабких сторін цього перетворення є те, що воно може значно перебільшувати шум у даних, оскільки воно розтягує всі розміри (включаючи нерелевантні розміри крихітної дисперсії, які переважно є шумом), щоб вони були однакового розміру на вході. На практиці це можна пом'якшити більш сильним згладжуванням ...

На жаль, я недостатньо освічений, щоб далі коментувати це.