Чому всі компоненти PLS разом пояснюють лише частину дисперсії вихідних даних?

У мене є набір даних, що складається з 10 змінних. Я провів часткові найменші квадрати (PLS), щоб передбачити єдину змінну відповіді на цих 10 змінних, вилучив 10 компонентів PLS, а потім обчислив дисперсію кожного компонента. За вихідними даними я взяв суму дисперсій усіх змінних, яка дорівнює 702.

Потім я розділив дисперсію кожного з компонентів ПЛС на цю суму, щоб отримати відсоток дисперсії, пояснений ПЛС, і на диво всі компоненти разом просто пояснюють 44% початкової дисперсії.

Яке пояснення цьому? Чи не повинно бути 100%?

— Рес
джерело

Як я знаю на стороні відповіді (y), що визначає кількість компонентів PLS - це мінімальна кількість спостереження. у мене 20 спостережень. Але з іншого боку, у мене просто 10 незалежних змінних, що робить мене обмеженим 10 PLS. Моє запитання - яка загальна формула для розрахунку поясненої дисперсії для кожного компонента (PLS або PCA).

— Рес

mathworks.com/help/stats/plsregress.html у цьому прикладі є лише одна змінна на стороні Y та обчислити 10 компонентів.

— Рес

Сума дисперсій усіх компонентів ПЛС зазвичай менше 100%.

Існує багато варіантів часткових найменших квадратів (PLS). Тут ви використовували PLS регресію одновимірної змінної відповіді на кілька змінних ; цей алгоритм традиційно відомий як PLS1 (на відміну від інших варіантів, див. Rosipal & Kramer, 2006, Огляд та останні досягнення в часткових найменших квадратах для стислого огляду). Пізніше PLS1 виявився еквівалентним більш елегантній рецептурі під назвою SIMPLS (див. Посилання на платню Jong 1988 у Rosipal & Kramer). Вид, наданий SIMPLS, допомагає зрозуміти, що відбувається в PLS1. $\mathbf y$ $\mathbf X$

Виявляється, що PLS1 робить, це знайти послідовність лінійних проекцій таким чином, що: $\mathbf t_i = \mathbf X \mathbf w_i$

Коваріація між та максимальна; $\mathbf y$ $\mathbf t_i$
Усі вектори ваги мають одиничну довжину, ; $\|\mathbf w_i\|=1$
Будь-які два компоненти PLS (ака-векторів оцінки) та є некорельованими. $\mathbf t_i$ $\mathbf t_j$

Зауважте, що весові вектори не повинні бути (і не є) ортогональними.

Це означає, що якщо складається з змінних і ви знайшли компонентів PLS, то ви знайшли неортогональну основу з некоррельованими проекціями на базисні вектори. Можна математично довести , що в такій ситуації сума відхилень всіх цих прогнозів буде менше , то загальна дисперсія . Вони були б рівними, якби ваги векторів були ортогональними (наприклад, у PCA), але в PLS це не так. $\mathbf X$ $k=10$ $10$ $\mathbf X$

Я не знаю жодного підручника чи документа, який прямо обговорює це питання, але я раніше пояснював це в контексті лінійного дискримінантного аналізу (LDA), який також дає ряд некоординованих проекцій на неортогональні одиничні вектори ваги, дивіться тут : Частка поясненої дисперсії в PCA та LDA .

— амеби
джерело

Дякую і так, що це має сенс. Я не знав, що навантажувальні (вагові) вектори не є ортогональними. Таким чином, він не фіксує максимальну дисперсію X. Наслідуючи приклад matlab, чи можете ви допомогти мені, як я можу математично отримати значення "PCTVAR" ?.

— Рес

Я не впевнений, але я можу подумати над цим. Чи не відповідає перший стовпець у PCTVAR(відсоток дисперсії, пояснений у X) з вашими розрахунками? Або ви питаєте про другий стовпець (відсоток дисперсії, пояснений у)? Загалом, якщо ви хочете вступити в математику PLS, то я пропоную вам почати читати статті від Rosipal & Kramer і переходити за посиланнями.

— амеба