Швидкість, обчислювальні витрати PCA, LASSO, еластична сітка

Я намагаюся порівняти складну обчислювальну складність / швидкість оцінки трьох груп методів лінійної регресії, як це відмічено у Hastie et al. "Елементи статистичного навчання" (2-е видання), глава 3:

1. Вибір підмножини
2. Методи усадки
3. Методи з використанням похідних напрямків введення (PCR, PLS)

Порівняння може бути дуже приблизним, просто щоб дати деяку думку. Я вважаю, що відповіді можуть залежати від розміру проблеми та того, як це відповідає архітектурі комп'ютера, тому для конкретного прикладу можна врахувати розмір вибірки в 500 та 50 регресорів-кандидатів. Мене найбільше цікавить мотивація, що лежить в основі складності обчислювальної швидкості / оцінювання, але не в тому, скільки часу це займе на певному процесорі для даного прикладу.

Група 1 :
Складність / швидкість групи 1. здається не надто складно розібратися, якщо використовуються алгоритми грубої сили (хоча можуть бути і більш ефективні альтернативи, такі як алгоритм "стрибків і меж"). Наприклад, для повного вибору підмножини знадобиться регресії K, щоб задати пул функцій K- кандидата. Пристосування OLS однієї лінійної регресії має складність O ( K 2 n ) (відповідно до цього посту ), де n - розмір вибірки. Отже, загальна складність вибору повного підмножини грубої сили повинна становити O ( 2 K K $2^K$$K$$\mathcal{O}(K^2 n)$$n$ .$\mathcal{O}(2^K K^2 n)$

Група 2 :
Складність / швидкість групи 2. обговорюється в розділах 3.8 та 3.9 книги. Наприклад, регресія хребта з заданим покаранням має таку ж обчислювальну складність, як і звичайна регресія. Оскільки λ потрібно знайти за допомогою перехресної перевірки, обчислювальне навантаження збільшується лінійно в кількості розбиття даних, використовуваних при перехресній валідації (скажімо, S ). Якщо сітка λ має L точок, то загальна складність регресії хребта з настройкою параметра λ буде O ( L S K 2 n ) .$\lambda$$\lambda$$S$$\lambda$$L$$\lambda$$\mathcal{O}(LSK^2 n)$
У книзі є досить багато розмов про ЛАССО , але я не зміг знайти те, що мені потрібно. Однак я знайшов на с. 443 Efron et al. "Найменший кут регресії" (2004), що складність LASSO для даного така ж, як і складність OLS-приладу лінійної регресії, якщо використовується метод LARS. Тоді загальна складність LASSO з налаштуванням параметра λ буде O ( L S K 2 n ) . (Я не читав уважно цей папір, тому, будь ласка, виправте мене, якщо я помилився з цим.) Еластична сітка поєднує хребет та LASSO; обидві мають однакову складність обчислювальної техніки; отже, складність еластичної сітки повинна бути$\lambda$$\lambda$$\mathcal{O}(LSK^2 n)$
де A - розмір сітки параметру настройки α, який врівноважує ваги гребеня проти LASSO.$\mathcal{O}(ALSK^2 n)$$A$$\alpha$

Група 3 :
Я все ще не пропускаю жодної примітки щодо складності / швидкості для групи 3, яка складається з основних регресій компонентів (PCR) та часткових найменших квадратів (PLS).

Це лише одна частина питання 2 групи 3 вище (а саме PLS), але, тим не менш, може бути інформативною: Srinivasan et al. (2010, технічний звіт; див. Https://www.umiacs.umd.edu/~balajiv/Papers/ UMD_CS_TR_Pls_Gpu.pdf ) здійснив деякі вимірювання на PLS, використовуючи алгоритм NIPALS - вказавши, що складність цього алгоритму в часі (і просторі) буде O (dN) - для вилучення і включення їх у різні моделі для a) виявлення людини на зображеннях, і b ) розпізнавання обличчя. Вимірювання проводилися за допомогою власної реалізації на основі GPU.