Як масштабується Лассо з розміром матриці дизайну?

Якщо у мене є матриця проектування $X\in\mathcal{R}^{n\times d}$ , де - кількість спостережень розмірності , яка складність рішення для з LASSO, wrt і ? Я думаю, що відповідь має стосуватися того, як одна ітерація LASSO масштабується з цими параметрами, а не як масштабує кількість ітерацій (конвергенції), якщо ви не відчуваєте іншого. $n$ $d$ $\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}$ $n$ $d$

Я прочитав це попереднє запитання щодо складності LASSO , але це, мабуть, суперечить дискусії про glmnet тут і тут . Я знаю, що існує багато алгоритмів, включаючи підхід GLMnet GLM, але я пишу статтю про заміну компонента LASSO на батьківський алгоритм і хотів би включити дискусію про складність LASSO в цілому, особливо з і . Я також хотів би дізнатися про складність glmnet у базовій нерідкій справі, але згаданий документ є дещо заплутаним, оскільки вся складність алгоритму не є явною. $d$ $n$

— рвонути
джерело

Незрозуміло, чому ця відповідь stats.stackexchange.com/a/190717/28666 (у потоці, до якого ви зв’язалися) не відповідає на ваше запитання. Чи можете ви докладно? Що суперечить з чим?

— амеба

Сторінка 6 в [pdf] [1] зазначає "Таким чином, повний цикл через всі d змінних коштує

". Однак питання, яке ви посилаєтесь на стан

. Чи пропускаю я цикл тут, щоб отримати складність

? [1]: jstatsoft.org/article/view/v033i01

O (d n)

$O(dn)$

O (d^{2} n)

$O(d^{2}n)$

d^{2}

$d^{2}$

— rnoodle

@amoeba Посилання, яке ви надаєте, є алгоритмом LARS - я хочу знати про підхід GLM.

— rnoodle

Посилання

для найменшого кутового регресу та

для координатного спуску є правильними. Різниця полягає в тому, що (1) LARS знаходить точне рішення в

(і роблячи це, переходячи весь шлях можливого

зі складністю, рівною задачі OLS до всієї задачі, яка також масштабується як

), тоді як (2) координатний спуск робить "лише" один крок наближення в

O (d^{2} n)

$\mathcal{O}(d^2n)$

O (d n)

$\mathcal{O}(dn)$

O (d^{2} n)

$\mathcal{O}(d^2n)$

λ

$\lambda$

O (d^{2} n)

$\mathcal{O}(d^2n)$

, сходячись / «знижуючись» ближче до мінімуму проблеми LASSO. LARS використовує

кроків. З координатним спуском ... ніхто не знає.

O (d n)

$\mathcal{O}(dn)$

d

$d$

— Секст Емпірік

Відповіді з посилань,

для найменшого кутового регресу $\mathcal{O}(d^2n)$
для координатного спуску $\mathcal{O}(dn)$

, правильні.

Різниця в тому

Рівняння ЛАРС записуються в закритому вигляді і знаходять точне рішення

$O(d^2n)$

поки

$\mathcal{O}(dn)$

$d$ $\mathcal{O}((d-k)n+k^2)$ $d-k$ $k$

$d^2n$ $d$ $d$ $d>>100$ $d=100$

Масштабування ЛАРС - проблема, пов'язана з обчислювальною складністю. Масштабування координатного спуска - це проблема, що включає складність обчислень та конвергенцію.

— Секст Емпірік
джерело