Чи частота помилок є опуклою функцією лямбда параметра регуляризації?

Вибираючи параметр регуляризації лямбда в Ridge або Lasso, рекомендований метод полягає в тому, щоб спробувати різні значення лямбда, виміряти похибку у валідаційному наборі і, нарешті, обрати це значення лямбда, яке повертає найменшу помилку.

Мені не чітко, якщо функція f (лямбда) = помилка - опукла. Може так бути? Тобто, чи може ця крива мати більше ніж один локальний мінімум (що означає, що пошук мінімуму помилки в якомусь районі лямбда не виключає можливості того, що в якомусь іншому регіоні є лямбда, що повертає ще меншу помилку)

Ваша порада буде вдячна.

— rf7
джерело

Відповіді:

В оригінальному запитанні було задано питання, чи потрібно функцію помилок випукнутим. Ні, це не є. Аналіз, представлений нижче, має на меті дати деяке розуміння та інтуїцію щодо цього та модифікованого питання, яке запитує, чи може функція помилки мати кілька локальних мінімумів.

Інтуїтивно зрозуміло, що між даними та навчальним набором не повинно бути ніяких математично необхідних зв’язків. Ми повинні мати можливість знайти дані про навчання, для яких модель спочатку погана, покращується з деякою регуляризацією, а потім знову стає гіршою. Крива помилок у цьому випадку не може бути опуклою - принаймні, не, якщо параметр регуляризації змінюється від до . $0$ $\infty$

Зауважте, що опуклий не рівнозначний унікальному мінімуму! Однак подібні ідеї передбачають, що можливі кілька локальних мінімумів: під час регуляризації спочатку пристосована модель може покращитись деякими навчальними даними, не помітно змінившись для інших даних тренувань, а потім пізніше стане кращою для інших даних тренувань тощо. суміш таких навчальних даних повинна створювати кілька локальних мінімумів. Щоб зробити аналіз простим, я не намагаюся цього показати.

Редагувати (щоб відповісти на змінене запитання)

Я був настільки впевнений у аналізі, представленому нижче, та інтуїції, що його опинив, що я надумав знайти приклад найбільш грубим способом: я створив невеликі випадкові набори даних, провів на них Лассо, обчислив загальну квадратичну помилку для невеликого навчального набору, і побудував свою криву помилок. Кілька спроб дали одну з двома мінімумами, які я опишу. Вектори мають форму для функцій і та відповіді . $(x_1,x_2,y)$ $x_1$ $x_2$ $y$

Дані про навчання

(1, 1, - 0.1), (2, 1, 0.8), (1, 2, 1.2), (2, 2, 0.9)

$(1,1,-0.1),\ (2,1,0.8),\ (1,2,1.2),\ (2,2,0.9)$

Дані тесту

(1, 1, 0.2), (1, 2, 0.4)

$(1,1,0.2),\ (1,2,0.4)$

Lasso проводили з використанням glmnet::glmmetв Rз усіма аргументами , що залишилися в їх значення за замовчуванням. Значення на осі x - це зворотні значення, про які повідомляє це програмне забезпечення (оскільки воно параметризує свою штрафну величину ). $\lambda$ $1/\lambda$

Крива помилок з декількома локальними мінімумами

Аналіз

Розглянемо будь-який метод регуляризації пристосування параметрів до даних та відповідних відповідей який має ці властивості, спільні для Регресії Рейда та Лассо: $\beta=(\beta_1, \ldots, \beta_p)$ $x_i$ $y_i$

(Параметризація) Метод параметризується реальними числами , з нерегульованою моделлю, що відповідає . $\lambda \in [0, \infty)$ $\lambda=0$
(Безперервність) Оцінка параметра постійно залежить від і передбачувані значення для будь-яких функцій постійно змінюються залежно від . $\hat\beta$ $\lambda$ $\hat\beta$
(Усадка) Як , . $\lambda\to\infty$ $\hat\beta\to 0$
(Кінцевість) Для будь-якого функціонального вектора , як , прогнозування . $x$ $\hat\beta\to 0$ $\hat y(x) = f(x, \hat\beta) \to 0$
(Монотонна помилка) Функція помилки, що порівнює будь-яке значення з передбачуваним значенням , , зростає з невідповідністютак що, з деяким зловживанням позначенням, ми можемо висловити це як . $y$ $\hat y$ $\mathcal{L}(y, \hat y)$ $|\hat y - y|$ $\mathcal{L}(|\hat y - y|)$

(Нуль в може бути замінений будь-якою постійною.) $(4)$

Припустимо, дані такі, що початкова (нерегламентована) оцінка параметра не дорівнює нулю. Давай конструкт набір підготовки даних , що складається з одного спостереження , для яких . (Якщо такий знайти неможливо , то початкова модель не буде дуже цікавою!) Встановіть . $\hat\beta(0)$ $(x_0, y_0)$ $f(x_0, \hat\beta(0))\ne 0$ $x_0$ $y_0=f(x_0, \hat\beta(0))/2$

Припущення передбачають, що крива помилки має ці властивості: $e: \lambda \to \mathcal{L}(y_0, f(x_0, \hat\beta(\lambda))$

$e(0) = \mathcal{L}(y_0, f(x_0, \hat\beta(0)) = \mathcal{L}(y_0, 2y_0) = \mathcal{L}(|y_0|)$ (через вибір ). $y_0$
$\lim_{\lambda\to\infty}e(\lambda) = \mathcal{L}(y_0, 0) = \mathcal{L}(|y_0|)$ (тому що як , , звідки ). $\lambda\to\infty$ $\hat\beta(\lambda)\to 0$ $\hat{y}(x_0)\to 0$

Таким чином, його графік безперервно з'єднує дві однаково високі (і кінцеві) кінцеві точки.

Якісно є три можливості:

Прогноз для тренувального набору ніколи не змінюється. Це малоймовірно - майже будь-який обраний вами приклад не матиме цього властивості.
Деякі проміжні передбачення для є гірше , ніж на початку або в межі . Ця функція не може бути опуклою. $0\lt \lambda \lt \infty$ $\lambda=0$ $\lambda\to\infty$
Всі проміжні прогнози лежать між і . Неперервність означає, що буде принаймні один мінімум , біля якого має бути опуклим. Але оскільки наближається до кінцевої постійної асимптотично, вона не може бути опуклою для достатньо великих . $0$ $2y_0$ $e$ $e$ $e(\lambda)$ $\lambda$

Вертикальна пунктирна лінія на рисунку показує, де сюжет змінюється від опуклої (зліва) на невипуклої (праворуч). (На цьому малюнку також є область невипуклості поблизу , але це не обов'язково в цілому.) $\lambda\approx 0$

— дзижчати
джерело

Дякую за вашу детальну відповідь. Якщо можливо, перегляньте питання під час редагування та оновіть вашу відповідь.

— rf7

Чудова відповідь (+1). На практиці я думаю, що часто не так вже й мало балів для навчальних та тестових даних. Чи змінюється висновок цієї відповіді, коли достатньо балів навчальних та тестових даних, отриманих з того самого (фіксованого та достатньо регулярного) розподілу? Зокрема, за цим сценарієм існує унікальний локальний мінімум з високою ймовірністю?

— user795305

@Ben Важлива не кількість тестових балів: цей результат повністю залежить від розподілу тестових балів відносно розподілу навчальних балів. Тому питання "з високою ймовірністю" не буде відповідати без певних припущень щодо багатоваріантного розподілу змінних регресора. Крім того, з великою кількістю змінних, це явище численних локальних мінімумів буде набагато більш імовірним. Я підозрюю, що випадковий вибір великого тестового набору (з багато разів більшою кількістю спостережень, ніж змінних) часто може мати унікальний глобальний хв.

— whuber

@whuber Дякую! Я погоджуюсь: (правдивий) розподіл між навчальним і тестовим пунктами повинен бути однаковим, і потрібно мати достатньо зразків, щоб емпіричні розподіли навчального і тестового набору узгоджувалися. (Здається, я погано сформулював це в своєму попередньому коментарі.) Наприклад, якщо має спільно нормальний розподіл (з невиродженою коваріацією), я підозрюю, що ймовірність кривої помилки, що має унікальний локальний хв, сходить до 1 (якщо, скажімо, в навчальному і тестовому наборі є зразків з з фіксованим (або навіть повільно зростаючим відносно ))

(x, y)

$(\mathbf x, y)$

n

$n$

n \to \infty

$n \to \infty$

p

$p$

n

$n$

— user795305

$\newcommand{\dbeta}{\frac{\partial}{\partial \lambda} \hat\beta_\lambda}$ $\newcommand{\ddbeta}{\frac{\partial^2}{{\partial \lambda}^2} \hat\beta_\lambda}$

Ця відповідь стосується конкретно ласо (і не стосується регресії хребта.)

Налаштування

Припустимо, у нас є коваріати, які ми використовуємо для моделювання відповіді. Припустимо, у нас є точок даних про навчання та даних для перевірки. $p$ $n$ $m$

Нехай навчальним входом буде а відповідь буде . Ми будемо використовувати ласо на цих даних про навчання. Тобто, поставити сімейство коефіцієнтів, оцінене за навчальними даними. Ми виберемо, який використовувати як наш оцінювач, виходячи з його помилки на валідаційному наборі, із введенням та відповіддю . З $X_{(1)} \in \mathbb{R}^{n \times p}$ $y_{(1)} \in \mathbb{R}^n$

\begin{matrix} (1) & {\hat{β}}_{λ} = \arg min_{β \in R^{p}} ‖ y_{(1)} - X_{(1)} β ‖_{2}^{2} + λ ‖ β ‖_{1}, \end{matrix}

$\hat\beta_\lambda = \arg\min_{\beta \in \mathbb{R}^p} \|y_{(1)} - X_{(1)} \beta\|_2^2 + \lambda \|\beta\|_1, \tag{1}$

{\hat{β}}_{λ}

$\hat\beta_\lambda$

X_{(2)} \in R^{m \times p}

$X_{(2)} \in \mathbb{R}^{m \times p}$

y_{(2)} \in R^{m}

$y_{(2)} \in \mathbb{R}^m$

\begin{matrix} (2) & \hat{λ} = \arg min_{λ \in R_{+}} ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2}, \end{matrix}

$\hat\lambda = \arg\min_{\lambda \in \mathbb{R}_+} \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2, \tag{2}$ нам цікаво вивчити функцію помилок що породжує наш оцінювач, керований даними .

e (λ) = ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2}

$e(\lambda) = \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2$

{\hat{β}}_{\hat{λ}}

$\hat\beta_{\hat\lambda}$

Розрахунок

Тепер ми обчислимо другу похідну цілі в рівнянні , не роблячи жодних припущень розподілу на або 's. Використовуючи диференціацію та деяку перебудову, ми (формально) обчислимо, що $(2)$ $X$ $y$

\begin{aligned} \frac{\partial^{2}}{{\partial λ}^{2}} ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2} & = \frac{\partial}{\partial λ} {- 2 y_{(2)}^{T} X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ} + 2 {\hat{β}}_{λ}^{T} X_{(2)}^{T} X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ}} \\ = - 2 y_{(2)}^{T} X_{(2)} \frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ} + 2 {({\hat{β}}_{λ})}^{T} X_{(2)}^{T} X_{(2)} \frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ} + 2 \frac{\partial}{\partial λ} {\hat{β}}_{λ}^{T} X_{(2)}^{T} X_{(2)}^{T} \frac{\partial}{\partial λ} {\hat{β}}_{λ} \\ = - 2 {{(y_{(2)} - X_{(2)} {\hat{β}}_{λ})}^{T} \frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ} - ‖ X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ} ‖_{2}^{2}} . \end{aligned}

$\begin{align*} \frac{\partial^2}{{\partial \lambda}^2} \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2 & = \frac{\partial}{\partial \lambda} \left\{ -2 y_{(2)}^T X_{(2)} \dbeta + 2 \hat\beta_\lambda^T X_{(2)}^T X_{(2)} \dbeta \right\} \\ & = -2 y_{(2)}^T X_{(2)} \ddbeta + 2 \left( \hat\beta_\lambda \right)^T X_{(2)}^T X_{(2)} \ddbeta + 2 \dbeta^T X_{(2)}^T X_{(2)}^T \dbeta \\ & = -2 \left\{ \left( y_{(2)} - X_{(2)} \hat\beta_\lambda \right)^T \ddbeta - \|X_{(2)} \dbeta\|_2^2 \right\}. \end{align*}$ Оскільки є кусочно лінійним для (оскільки є кінцевим набором вузлів на шляху рішення ласо), похідна є кусочно постійною і дорівнює нулю для всіх . Тому негативна функція .

{\hat{β}}_{λ}

$\hat\beta_\lambda$

λ \notin K

$\lambda \not\in K$

K

$K$

\frac{\partial}{\partial λ} {\hat{β}}_{λ}

$\dbeta$

\frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ}

$\ddbeta$

λ \notin K

$\lambda \not\in K$

\frac{\partial^{2}}{{\partial λ}^{2}} ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2} = 2 ‖ X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ} ‖_{2}^{2},

$\frac{\partial^2}{{\partial \lambda}^2} \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2 = 2 \|X_{(2)} \dbeta\|_2^2,$

λ

$\lambda$

Висновок

Якщо припустимо, що виведено з деякого безперервного розподілу, незалежного від , вектор майже напевно для . Тому функція помилки має другу похідну від яка (майже напевно) суворо позитивна. Однак, знаючи, що є безперервним, ми знаємо, що помилка перевірки є безперервною. $X_{(2)}$ $\{X_{(1)}, y_{(1)} \}$ $X_{(2)} \dbeta \neq 0$ $\lambda < \lambda_\max$ $e(\lambda)$ $\mathbb{R} \setminus K$ $\hat\beta_\lambda$ $e(\lambda)$

Нарешті, з подвійного ласо ми знаємо, що монотонно зменшується, оскільки збільшується. Якщо ми можемо встановити, що також є монотонним, то випливає сильна опуклість . Однак це має певну ймовірність наближення до однієї, якщо . (Я детально тут заповню деталі.) $\|X_{(1)} \hat\beta_\lambda\|_2^2$ $\lambda$ $\|X_{(2)} \hat\beta_\lambda\|_2^2$ $e(\lambda)$ $\mathcal{L} \left( X_{(1)} \right) = \mathcal{L} \left( X_{(2)} \right)$

— користувач795305
джерело

Ви покладаєтесь лише на те, що є безперервною кусочно лінійною функцією для висновку суворо випукла. Давайте подивимось, чи загальновирахуваний цей відрахування. Однією з таких функцій є(де позначає округлення до найближчого цілого числа). Припустимо, і , так що . Ця функція помилок має нескінченно багато локальних мінімумів. Це не опукло - це лише опукло скрізь, крім окремих точок! Це змушує мене повірити, що ви робите додаткові нестандартні припущення.

\hat{β}

$\hat\beta$

λ

$\lambda$

\hat{e}

$\hat e$

\hat{β} (λ) = | λ - [λ] |

$\hat\beta(\lambda)=|\lambda-[\lambda]|$

[]

$[]$

y_{(2)} = 0

$y_{(2)}=0$

X_{(2)} = 1

$X_{(2)}=1$

\hat{e} (λ) = \hat{β} (λ)^{2}

$\hat {e}(\lambda)=\hat\beta(\lambda)^2$

— качан

@whuber Добрий момент! Дякую! Я скоро відредагую цю публікацію найближчим часом.

— користувач795305