Який зв’язок між частковими найменшими квадратами, зменшеною регресією регресу та регресією основних компонентів?

Чи є регресія зі зниженим рангом та регресія головних компонентів лише особливими випадками часткових найменших квадратів?

У цьому підручнику (Сторінка 6, "Порівняння цілей") зазначено, що коли ми робимо часткові найменші квадрати, не проектуючи X або Y (тобто "не часткові"), це стає відповідно регресією регресії чи регресією головного компонента.

Аналогічне твердження зроблено на цій сторінці документації SAS , розділах "Зменшення регресу рейтингу" та "Взаємозв'язки між методами".

Більш фундаментальним наступним питанням є те, чи мають вони подібні основні імовірнісні моделі.

— Мінків
джерело

Це справді важлива проблема.

— Стів

@Steve. Спасибі. Дивіться мої коментарі вище для більш детального вступу.

— Міньків

Це три різні методи, і жоден з них не може розглядатися як особливий випадок іншого.

Формально, якщо і - центрировані набори даних передбачувача ( ) і відповіді ( ), і якщо ми шукаємо першу пару осей, для і для , то ці методи максимізуйте наступні кількості: $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$ $\mathbf w \in \mathbb R^p$ $\mathbf X$ $\mathbf v \in \mathbb R^q$ $\mathbf Y$

\begin{aligned} P C A : & Var (X w) \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v) \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v) \\ C C A : & {Corr}^{2} (X w, Y v) \end{aligned}

$\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$

(Я додав до цього списку канонічний кореляційний аналіз (CCA).)

Я підозрюю, що плутанина може бути, тому що в SAS всі три методи, здається, реалізуються через одну і ту ж функцію PROC PLSз різними параметрами. Тож може здатися, що всі три методи - це особливі випадки PLS, оскільки саме так називається функція SAS. Це, однак, лише нещасне називання. Насправді, PLS, RRR та PCR - це три різні методи, які, як правило, реалізуються в SAS в одній функції, яку чомусь викликають PLS.

Обидва навчальні посібники, з якими ви пов’язані, насправді дуже зрозумілі. Сторінка 6 підручника з презентації визначає цілі всіх трьох методів і не говорить, що PLS "стає" RRR або PCR, всупереч тому, що ви заявили у своєму запитанні. Аналогічно, документація SAS пояснює, що три методи різні, даючи формули та інтуїцію:

[P] регресія компонентів rincipal вибирає фактори, що пояснюють якомога більшу кількість варіантів прогнозів, регресія з пониженим рангом вибирає фактори, що пояснюють якомога більше варіантів реакції, а часткові найменші квадрати врівноважують дві цілі, шукаючи фактори, що пояснюють як реакцію, так і варіацію прогноктора .

$x_1$ $x_2$ $y$ $X$ $y$ $X$

До втраченої функції RRR можна додати гребневий штраф, отримуючи регресію гребеня зі зниженим рангом або RRRR. Це потягне вісь регресії у напрямку PC1, дещо схожа на те, що робить PLS. Однак функцію витрат для RRRR не можна записати у формі PLS, тому вони залишаються іншими.

$y$

— Амеба каже Відновити Моніку
джерело

Таблиця в кінці дуже корисна. Виходячи з цієї таблиці, можна вважати PCA, RRR та CCA "особливими випадками" PLS, якщо ви також вважаєте, що велосипеди та одноколісні велосипеди є особливими випадками триколісного велосипеда. Я не схильний так думати.

— EdM

@EdM, я думаю, що можна сказати, що всі ці методи - це особливі випадки якогось об’єднуючого методу, який насправді не має назви (але його можна придумати!). Але назва "PLS" вже має усталене значення, і це значення не включає жодну з цих інших методик.

— Амеба каже, що відбудеться Моніка

І дякую! Я вирішив зараз перенести таблицю на початок відповіді :)

— амеба каже Відновити Моніку

X

$X$

Y

$Y$

V a r (X w)^{α} \cdot C o r r (X w, Y v)^{β} \cdot V a r (Y v)^{γ}

$\mathrm{Var}(Xw)^\alpha\cdot \mathrm{Corr}(Xw,Yv)^\beta\cdot \mathrm{Var}(Yv)^\gamma$

— Амеба каже: Відновити Моніку

@Moskowitz: Загалом, коли люди говорять про метод A, який є "особливим випадком" методу B, вони означають, що B більш загальний і A еквівалентний B з деякими конкретними параметрами. Вони не означають, що A дає ті самі результати, що і B при деяких спеціальних умовах набору даних. Звідси моя відповідь на ваше запитання.

— Амеба каже: Відновити Моніку