Яка часова складність регресії Лассо?

Яка асимптотична часова складність регресії Лассо в міру збільшення кількості рядків або стовпців?

Нагадаємо, що ласо - це лінійна модель з регуляризацією .$l_1$

Пошук параметрів можна сформулювати як необмежену задачу оптимізації, де параметри задаються

.$\arg \min_\beta ||y - X\beta||^2 + \alpha||\beta||_1$

У обмеженій формулюванні параметри задаються методом

$\arg \min_\beta ||y - X\beta||^2 s.t.||\beta||_1 < \alpha$

Яка проблема квадратичного програмування і, отже, поліном.

Майже всі процедури опуклої оптимізації, навіть для гнучких нелінійних речей, таких як нейронні мережі, покладаються на обчислення похідної ваших цільових параметрів wrt. Ви не можете взяти похідну хоча. Як такий, ви покладаєтесь на різні методи. Існує безліч методів пошуку параметрів. Ось оглядовий документ з цього питання, Оптимізація найменших квадратів з регуляризацією L1-норми . Часова складність ітеративної опуклої оптимізації є дещо складною для аналізу, оскільки вона залежить від критерію конвергенції. Як правило, ітераційні проблеми сходяться в меншій кількості епох у міру збільшення спостережень.$\alpha||w||_1$

Хоча @JacobMick надає більш широкий огляд та посилання на рецензуючий документ, дозвольте мені дати "відповідь швидкого доступу" (що може вважатися особливим випадком його відповіді).

$K$$n$$\mathcal{O}(K^3 + K^2 n)$

• $K<n$$K^3 < K^2 n$$\mathcal{O}(K^2 n)$$K$
• $K \geqslant n$$K^3 \geqslant K^2 n$$\mathcal{O}(K^3)$

Список літератури:

• Ефрон, Бредлі та ін. "Регресія найменшого кута". Аналіз статистики 32.2 (2004): 407-499.
• Шмідт, Марк. "Оптимізація найменших квадратів з регуляризацією l1-норми." Звіт про проект CS542B (2005).