Різниця між регресією PLS та моделюванням шляху PLS. Критика ПЛС

Це питання було задано тут, але ніхто не дав гарної відповіді. Тому я думаю, що це гарна ідея підняти її ще раз, а також я хотів би додати ще кілька коментарів / питань.

Перше питання - в чому різниця між "моделюванням шляху ПЛС" та "регресією ПЛС"? Щоб зробити його більш загальним, що таке моделювання структурних рівнянь (SEM), моделювання контуру та регресія? Наскільки я розумію, регресія зосереджується більше на прогнозуванні, в той час як SEM зосереджується на взаємозв'язку між відповіддю та передбачувачами, а моделювання траєкторії є особливим випадком SEM?
Друге моє запитання - наскільки надійний PLS? Останнім часом він зазнав багатьох закидів, на які підкреслювались у Rönkkö та ін. 2016 та Rönkkö та ін. 2015 рік, що призводить до відмови від публікацій на основі PLS у журналах високого рівня, таких як Journal of Operations Management ( ось примітка редактора журналу):

Ми відхиляємо практично всі рукописи на основі ПЛС, тому що ми дійшли висновку, що ПЛС без винятку є неправильним підходом до моделювання у видах моделей, які використовують дослідники ОМ .

Слід зазначити, що моє поле - це спектроскопія, ні управління / психологія, ні статистика. У документах, пов'язаних вище, автори розповідають більше про ПЛС як про метод SEM, але, на мій погляд, їхня критика виглядає застосовною і для регресії PLS.

sem partial-least-squares path-model

— Рес
джерело

Ваші посилання знаходяться за платними стінами.

— Джеремі Майлз

ти абсолютно правий! і вибачте, у мене є PDF-файли, але я не впевнений, чи зможу я завантажити або поділитися. Наука повинна бути вільною :)

— Рес

Регресія PLS пояснюється і досить детально обговорюється в statts.stackexchange.com/questions/179733 . На жаль, я майже нічого не знаю про "моделювання шляху".

— амеба

Я думаю, що "моделювання

— контурів

З статті 2016: "Більшість вступних текстів про PLS переглядають цілі ваг, стверджуючи, що PLS є SEM і тому він повинен забезпечити перевагу перед регресією з композитами (наприклад, Gefen et al., 2011); однак, такі роботи часто прямо не зазначають, що PLS сама по собі також є просто регресом з композитами ". вводить в оману. Основна суть аргументу я можу бачити, якщо це автори стверджують, що SEM має бути чисто теоретичною конструкцією, і вони зневажають емпірично отримані структурні рівняння. Але PLS отримує «структуровані» рівняння за допомогою коваріації.

— ReneBt

Перше питання - в чому різниця між "моделюванням шляху ПЛС" та "регресією ПЛС"?

Ні, вони є синонімами.

Щоб зробити його більш загальним, що таке моделювання структурних рівнянь (SEM), моделювання контуру та регресія? Наскільки я розумію, регресія зосереджується більше на прогнозуванні, в той час як SEM зосереджується на взаємозв'язку між відповіддю та передбачувачами, а моделювання траєкторії є особливим випадком SEM?

SEM - це форма регресії. Регресія - це будь-який метод, який співвідносить незалежні та залежні змінні та включає методи, що використовують кілька змінних, що обробляються як окремі сутності. SEM спеціально використовує математичні зв’язки між змінними для обмеження кінцевої моделі, у випадку PLS це коваріація. Я розумію, що моделювання шляхів є специфічним терміном (не моїм, я спектроскопіст, як ви).

Друге моє запитання - наскільки надійний PLS? Останнім часом він зазнав багатьох закидів, на які підкреслювались у Rönkkö та ін. 2016 та Rönkkö та ін. 2015 рік

Відмінне спростування знайдено у Henseler et al. Загальні переконання та реальність щодо ЛПС 2013 року . Основна стурбованість Rönkkö та ін. полягає в тому, що в деяких ситуаціях, які передбачають загальний прихований фактор, PLS не виявився чудовим. ПЛС насправді призначений для обробки декількох прихованих факторів - ситуації, яка набагато частіше зустрічається в реальному світі.

Наскільки надійний? Для спектроскопії це відмінний інструмент, але має свої обмеження. Це ризикує переоцінити, оскільки може створити складні моделі, які б вносили внески від декількох основних факторів. З цієї причини це потрібно обережно використовувати, і відповідна зовнішня перевірка є важливою, але тоді ці застереження застосовуються до всіх моделей будівельних інструментів. Я працюю в основному над наборами даних у реальному світі протягом двох десятиліть, і я не стикався з жодним експериментальним набором даних, який мав би лише один загальний фактор, що лежить в основі залежної змінної (ні на основі даних, ні на науковій теорії).

— ReneBt
джерело

+1, хоча я хотів би, щоб у цій відповіді було детальніше про Ronkko та ін. проти Henseler та ін. незгода. Я зовсім не спектроскопіст, але я досить добре розумію ПЛС як метод регуляризації лінійної регресії (саме так це представлено в «Елементах статистичного навчання» від Hastie et al.). Я думаю, що це називається PLS1 у хіміометрії. Тут "продуктивність" стосується помилки відновлення, можна використовувати перехресну перевірку для вибору сили регуляризації тощо. Це дуже знайома настройка для кожного, хто стикався з регресією хребта або ПЛР або чим-небудь подібним.

— амеба

[продовження] Я також знаю про PLS2 з декількома залежними змінними, але я не впевнений, як часто це використовується. У той же час, від спроб зрозуміти, що таке Ронко та ін. мається на увазі, здається, що фокус "SEM" полягає виключно у відношенні множини X до множини Y (це PLS2 тоді?) і, можливо, більше на інтерпретації взаємозв'язку між X і Y, а не на прогнозуванні Y як такого. Я навіть не впевнений, що вони означають під „продуктивністю”, і я не маю поняття, що вони вважають за краще використовувати замість PLS, коли критикують PLS.

— амеба

Дякую і ReneBT, і амебі. Я розмістив це питання на Reddit тут, і хтось (soumya_ray) відповів, що регресія та SEM принципово відрізняються. Вона не пояснила технічних відмінностей. До речі, її відповідь проти того, що ви сказали (ваша відповідь має сенс для мене).

— Рес

До речі, я роблю вибір групи за допомогою PLS. Я підтверджую вашу думку щодо продуктивності PLS, хоча це може спричинити хороші прогнози (як на тесті, так і на калібруванні), але модель може бути принципово неправильною або, принаймні, дуже складною для інтерпретації, оскільки вона вибирає передбачувачі як важливі змінні, що не мають нічого спільного з змінна відповідь.

— Рес

Подальший коментар до ключових питань, порушених авторами, полягає в тому, що "Алгоритм PLS, таким чином, створює ваги, що збільшують співвідношення між сусідніми композитами порівняно з одиничними зваженими композитами, що використовуються в якості вихідної точки, використовуючи будь-які кореляції в даних, але це робить не гарантують досягнення будь-якого глобального оптимуму ". Справді, це означає, що модель застосовуватиметься лише до груп з однаковою базовою структурою коваріації, це не робить ПЛС недійсним, але означає, що потрібно будувати та використовувати модель обережно.

— ReneBt