Що таке "часткове" у методах часткових найменших квадратів?

На моделювання структурних рівнянь найменших квадратів (PLSR) або на часткові найменші квадрати (PLS-SEM), що означає термін "частковий"?

Я хотів би відповісти на це питання, багато в чому спираючись на історичну перспективу , яка є досить цікавою. Герман Уолд, який винайшов підхід до часткових найменших квадратів (PLS) , не почав використовувати термін PLS (або навіть згадувати термін частковий ) відразу. Під час початкового періоду (1966-1969 рр.) Він назвав цей підхід NILES - скороченням терміна та назви його первинної роботи на цю тему " Нелінійне оцінювання методами ітеративних найменших квадратів" , опублікованих у 1966 році.

Як ми бачимо, процедури, які згодом будуть називатися частковими, називаються ітеративними , зосереджуючи увагу на ітераційному характері процедури оцінки ваги та прихованих змінних (НН). Термін "найменших квадратів" походить від використання регресії звичайних найменших квадратів (OLS) для оцінки інших невідомих параметрів моделі (Wold, 1980). Схоже, що термін "частковий" має коріння в процедурах NILES, які реалізували "ідею розділити параметри моделі на підмножини, щоб їх можна було оцінити по частинах" (Санчес, 2013, стор. 216; наголос мій) .

Перше використання терміна PLS відбулося в статті оцінки нелінійних ітераційних часткових найменших квадратів (NIPALS) , в якій публікація відзначає наступний період історії PLS - період моделювання NIPALS . 1970-ті та 1980-ті роки стають періодом м'якого моделювання , коли під впливом підходу Карла Жореського до LEMREL до SEM Волд перетворює підхід NIPALS в м'яке моделювання, що по суті сформувало ядро ​​сучасного підходу PLS (термін PLS стає мейнстрімом наприкінці 1970-х років) ). 1990-ті роки, наступний період в історії ПЛС, який Санчес (2013) називає періодом «розриву», відзначається значною мірою зменшенням його використання. На щастя, починаючи з 2000-х ( період консолідації)), PLS сподобалася поверненню як дуже популярний підхід до аналізу SEM, особливо в галузі соціальних наук.

ОНОВЛЕННЯ (у відповідь на коментар амеби):

• Можливо, формулювання Санчеса не є ідеальним у фразі, яку я цитував. Я думаю, що "оцінюється по частинах" стосується прихованих блоків змінних. Уолд (1980) детально описує цю концепцію.
• Ви праві, що NIPALS спочатку був розроблений для PCA. Плутанина випливає з того, що існують як лінійний підхід PLS, так і нелінійний PLS. Я думаю, що Rosipal (2011) дуже добре пояснює відмінності (принаймні, це найкраще пояснення, яке я бачив досі).

ОНОВЛЕННЯ 2 (подальше уточнення):

У відповідь на занепокоєння, висловлені у відповіді амеби, я хотів би уточнити деякі речі. Мені здається, що нам потрібно розрізнити вживання слова "частковий" між NIPALS та PLS. Це створює два окремих питання про 1) значення "часткового" в NIPALS та 2) значення "часткового" в PLS (це оригінальне запитання Phil2014). Хоча я не впевнений у першому, я можу запропонувати додаткові роз'яснення щодо другого.

За словами Уолда, Шьострем і Ерікссон (2001),

"Часткове" в PLS вказує на те, що це часткова регресія, оскільки ...

Іншими словами, "часткове" випливає з того, що декомпозиція даних за алгоритмом NIPALS для PLS може не включати всі компоненти , отже, "часткова". Я підозрюю, що ця ж причина стосується і NIPALS в цілому, якщо можливо використовувати алгоритм "часткових" даних. Це пояснило б "P" у NIPALS.

Що стосується використання слова "нелінійне" у визначенні NIPALS (не плутати з нелінійним PLS , який представляє нелінійний варіант підходу PLS!), Я думаю, що це стосується не самого алгоритму , а нелінійних моделей , якими може бути аналізували, використовуючи NIPALS на основі лінійної регресії.

ОНОВЛЕННЯ 3 (пояснення Германа Волда):

Незважаючи на те, що праця 1969 року Германа Волда, здається, є найбільш ранньою статтею про NIPALS, мені вдалося знайти ще одну з найбільш ранніх робіт на цю тему. Це документ Уолда (1974), де "батько" PLS представляє своє обгрунтування використання слова "частковий" у визначенні NIPALS (стор. 71):

3.1.4. Оцінка NIPALS: Ітеративний OLS. Якщо одна чи кілька змінних моделі є латентними, відносини прогнозування включають не тільки невідомі параметри, але й невідомі змінні, в результаті чого проблема оцінки стає нелінійною. Як зазначено в підпункті 3.1 (iii), NIPALS вирішує цю проблему ітераційною процедурою, скажімо, з кроками s = 1, 2, ... Кожен крок s включає кінцеву кількість регресій OLS, по одній для кожного відношення прогнозника моделі. Кожна така регресія дає проксі-оцінки для підмножини невідомих параметрів та прихованих змінних (звідси назва часткових найменших квадратів), і ці оцінки проксі використовуються на наступному етапі процедури для обчислення нових оцінок проксі.

Список літератури

Росипал, Р. (2011). Нелінійні часткові найменші квадрати: огляд. У Лодхі Х. та Яманіші Я. (ред.), Хіміоінформатика та перспективи перспективного машинного навчання: Комплексні обчислювальні методи та методи спільної роботи , с. 169-189. ACCM, IGI Global. Отримано з http://aiolos.um.savba.sk/~roman/Papers/npls_book11.pdf

Санчес, Г. (2013). Моделювання PLS-шляху з Р. Берклі, Каліфорнія: Видання Trowchez. Отримано з http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf

Уолд, Х. (1974). Причинно-наслідкові потоки з прихованими змінними: Розбиття шляхів у світлі моделювання NIPALS. Європейський економічний огляд, 5 , 67–86. Видавництво "Північна Голландія"

Уолд, Х. (1980). Побудова моделі та оцінювання, коли теоретичних знань не вистачає: теорія та застосування часткових найменших квадратів. У Дж. Кмента та Дж. Б. Рамзі (ред.), Оцінка економетричних моделей , стор. 47-74. Нью-Йорк: Академічна преса. Отримано з http://www.nber.org/chapters/c11693

Wold, S., Sjöström, M., & Eriksson, L. (2001). PLS-регресія: основний інструмент хіміометрії. Хімометрія та інтелектуальні лабораторні системи, 58 , 109-130. doi: 10.1016 / S0169-7439 (01) 00155-1 Отримано з http://www.libpls.net/publication/PLS_basic_2001.pdf

$X$$Y$

Однак історично, як @Aleksandr добре пояснює (+1), PLS був введений Уолдом, який використовував свій алгоритм NIPALS для його реалізації; NIPALS означає "нелінійні ітераційні часткові найменші квадрати", тому очевидно, що P у PLS щойно потрапив туди від NIPALS.

$\newcommand{\X}{\mathbf X}\X$$\newcommand{\v}{\mathbf v}\v$$\newcommand{\p}{\mathbf p}\p$$\v$$\p$

1. $\v = \X^\top \p (\p^\top \p)^{-1}$
2. $\|\v\|$$1$
3. $\p = \X \v (\v^\top \v)^{-1}$

$\v$$\p$$\X$ параметрів одночасно! Звідси "частковий".

(Чому він назвав це "нелінійним", я все ще не розумію.)

Цей термін надзвичайно оманливий, тому що якщо це "часткове", то кожен алгоритм максимізації очікування є "частковим" теж (насправді NIPALS можна розглядати як примітивну форму ЕМ, див. Roweis, 1998 ). Я думаю, що PLS є хорошим кандидатом у конкурсі «Найбільш оманливий термін у машинному навчанні». На жаль, це навряд чи зміниться, незважаючи на зусилля Уолда-молодшого (див. Коментар @ Момо вище).