Пеніалізовані методи категоричних даних: поєднання рівнів у факторі

Пеналізовані моделі можна використовувати для оцінки моделей, де кількість параметрів дорівнює або навіть перевищує розмір вибірки. Така ситуація може виникнути в лінійних журнальних моделях великих розріджених таблиць категоричних даних або даних про кількість. У цих налаштуваннях часто також бажано або корисно згортання таблиць шляхом комбінування рівнів фактора, коли ці рівні не відрізняються з точки зору того, як вони взаємодіють з іншими факторами. Два питання:

Чи існує спосіб використання покараних моделей, таких як LASSO або еластична сітка, для перевірки на збірність рівнів у кожному факторі?
Якщо відповідь на перше запитання - так, чи можна, чи слід, це встановлювати таким чином, що згортання рівнів та оцінка модельних коефіцієнтів відбувається за один крок?

— andrewH
джерело

Цей документ, doi.org/10.1177/1471082X16642560 , дає хороший огляд того, що було зроблено в цій галузі за останнє десятиліття.

— Джорн Біклер

Примітка: штраф, який я обговорюю нижче, - рівняння 3,4 за посиланням @JorneBiccler. (Цікаво побачити, що це питання було розглянуто і раніше!)

— user795305

Можливий дублікат категорійних змінних Preprocess з багатьма значеннями

— kjetil b halvorsen

Як ми можемо назвати це дублікатом питання, яке передувало йому?

— Майкл Р. Черник

Можливо. Для цього ми можемо використовувати варіант сплавленого ласо .

Ми можемо використовувати оцінювач

\hat{β} = \arg min_{β} \frac{- 1}{n} \sum_{i = 1}^{n} (y_{i} β^{T} x_{i} - e^{β^{T} x_{i}}) + \sum_{factors g} λ_{g} (\sum_{j \in g} | β_{j} | + \frac{1}{2} \sum_{j, k \in g} | β_{j} - β_{k} |) .

$\hat{\beta} = \arg\min_{\beta} \frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right) + \sum_{\textrm{factors g}} \lambda_g \left(\sum_{j \in g} |\beta_j| + \frac{1}{2} \sum_{j,k \in g} |\beta_j - \beta_k| \right).$

Зауважте, що є функцією втрати для лінійного журналу моделей. $\frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right)$

Це заохочує коефіцієнти всередині групи бути рівними. Ця рівність коефіцієнтів рівносильна згортанню рівнів та фактора разом. У випадку, коли , це рівносильно згортанню рівня з еталонним рівнем. Параметри настройки можна трактувати як постійні, але це, якщо є лише кілька факторів, було б краще розглянути їх як окремі. $j^{th}$ $k^{th}$ $\hat{\beta}_j=0$ $j^{th}$ $\lambda_g$

Оцінювач є мінімізатором опуклої функції, тому його можна ефективно обчислити за допомогою довільних розв'язувачів. Цілком можливо, що якщо фактор має багато, багато рівнів, ці парні відмінності вийдуть з рук --- в цьому випадку, знаючи більше структури про можливі структури колапсу, буде потрібно.

Зауважте, що все це здійснюється за один крок! Це частина того, що робить оцінювачі типу "ласо" настільки крутими!

Ще один цікавий підхід - використовувати оцінювач OSCAR, який, як і вище, крім штрафу замінюється на . $\|[-1 \, 1] \cdot [\beta_i \, \beta_j]'\|_1$ $\|[\beta_i \, \beta_j]\|_\infty$

— користувач795305
джерело