Як тренувати (логістичну?) Регресію в R за допомогою функції втрати L1?

Я можу тренувати логістичну регресію в Rвикористанні

glm(y ~ x, family=binomial(logit)))

але, IIUC, це оптимізує ймовірність журналу.

Чи є спосіб тренувати модель, використовуючи лінійну ( ) функцію втрат (яка в даному випадку така ж, як загальна відстань варіації )? $L_1$

Тобто, даючи числовий вектор і бітовий (логічний) вектор , я хочу побудувати монотонну (фактично зростаючу) функцію таку, щозводиться до мінімуму. $x$ $y$ $f$ $\sum |f(x)-y|$

Дивись також

Як тренувати логістичну регресію в R за допомогою функції втрати L1?

logistic

— sds
джерело

Те, що ви хочете, не існує, і щоб бути тупим, це не має особливого сенсу. Ми можемо обговорити альтернативи, але вам потрібно більш ретельно зазначити, що ви намагаєтесь зробити. Чому ви хочете підігнати логістичну модель із втратою L1?

— користувач603

@ user603: Тому що я хочу оцінити свою модель за допомогою TVD

— sds

Ви, здається, говорите про пристосування логістичної кривої до даних, а не про встановлення біноміально розподілених даних - тобто про форму нелінійної регресії , але з використанням а не норми . Дійсно, функція втратиприпускає, що максимум не дорівнює (якщо це так, він посилається на оманливий біноміальний GLM). З іншого боку, якщо він дійсно буде обмежений до 0-1, функція втрат не має сенсу. Чи можете ви, будь ласка, надати детальну інформацію про свою фактичну ситуацію?

L_{1}

$L_1$

L_{2}

$L_2$

\sum | f (x) - y |

$\sum |f(x)-y|$

1

$1$

— Glen_b -Встановіть Моніку

Зауважте, що довідка просить не пересилати одне і те ж запитання на кілька сайтів, а замість цього вибирати один. Якщо згодом ви передумаєте, який сайт найкращий, позначте його на увазі модератора і попросіть його перенести.

— Glen_b -Встановіть Моніку

@Glen_b: Я думаю, що "бітовий (логічний) вектор y" має на увазі відповідь 0/1.

— sds

Відповіді:

Те, що ви хочете зробити, не існує, оскільки це є відсутністю кращого слова.

Але спершу наголошу, чому я вважаю, що передумови вашого питання є здоровими. Потім я спробую пояснити, чому я вважаю, що висновки, які ви робите з них, спираються на нерозуміння логістичної моделі, і, нарешті, я запропоную альтернативний підхід.

Позначу вашихспостережень (сміливіші літери позначають вектори), які лежать урозмірному просторі (перший запис $\{(\pmb x_i,y_i)\}_{i=1}^n$ $n$ $p$ дорівнює 1) з,і $\pmb x_i$ $p<n$ $y_i\in [0,1]$ - монотонна функція $f(\pmb x_i)= f(\pmb x_i'\pmb\beta)$ , скажімо, яклогістична кривадля фіксації ідей. Для доцільності, я просто припущущо єдоситьвеликийпорівнянні з . $\pmb x_i'\pmb\beta$ $n$ $p$

Ви впевнені, що якщо ви плануєте використовувати TVD в якості критерію для оцінки пристосованої моделі, то розумно очікувати, що ваша відповідність оптимізує той самий критерій серед усіх можливих кандидатів за вашими даними. Звідси

β β^{*} = \underset{β β \in R^{p}}{арг хв} | | у у - f (х х_{i}^{'} β β) | |_{1}

$\pmb\beta^*=\underset{\pmb\beta\in\mathbb{R}^{p}}{\arg\min}\;\;\;\;\;||\pmb y-f(\pmb x_i'\pmb\beta)||_1$

Проблема - термін помилки : і якщо ми застосуємо $\epsilon_i=y_i-f(\pmb x_i'\pmb\beta)$ (ми просто хочемо, щоб наша модель була асимптотичнонеупередженою), тоді, мушубутигетерокедастичною. Це тому, що може приймати лише два значення, 0 і 1. Отже, задано $E(\pmb\epsilon)=0$ $\epsilon_i$ $y_i$ , також може приймати лише два значення: $\pmb x_i$ $\epsilon_i$ коли , що відбувається з ймовірністю $1-f(\pmb x_i'\pmb\beta)$ $y_i=1$ , і $f(\pmb x_i'\pmb\beta)$ при , що відбувається з вірогідністю $-f(\pmb x_i'\pmb\beta)$ $y_i=1$ . $1-f(\pmb x_i'\pmb\beta)$

Ці міркування разом означають, що:

var (ϵ ϵ) = E (ϵ ϵ^{2}) = (1 - f (x x^{'} β β))^{2} f (x x^{'} β β) + (- f (x x^{'} β β))^{2} (1 - f (x x^{'} β β)) = (1 - f (x x^{'} β β)) f (x x^{'} β β) = E (y y | x x) E (1 - y y | x x)

$\text{var}(\pmb\epsilon)=E(\pmb\epsilon^2)=(1-f(\pmb x'\pmb\beta))^2f(\pmb x'\pmb\beta)+(-f(\pmb x'\pmb\beta))^2(1-f(\pmb x'\pmb\beta))\\ \;\;\;\;\;\;\;\;\;\;\;\;\;=(1-f(\pmb x'\pmb\beta))f(\pmb x'\pmb\beta)=E(\pmb y|\pmb x)E(1-\pmb y|\pmb x)$

звідси не є постійною, а увігнутою параболою і максимізується при $\text{var}(\pmb\epsilon)$ такий, що $\pmb x$ . $E(y|\pmb x)\approx .5$

Ця властива гетерокедастичність залишків має наслідки . Це передбачає, серед іншого, що, мінімізуючи функцію втрат , ви є асимптотичною частиною вашої вибірки. Тобто придатний $l_1$ взагалі не підходить для даних, але лише його частина, яка згрупована навколо місць, де $\pmb\beta^*$ такий, що $\pmb x$ . На думку, ценайменш інформативні точки даних у вашій вибірці: вони відповідають тим спостереженням, для яких компонент шуму найбільший. Отже, ваш притягнення тягнеться до $E(\pmb y|\pmb x)\approx .5$ , наприклад зробив невідповідним. $\pmb\beta^*=\pmb\beta:f(\pmb x'\pmb\beta)\approx .5$

Одне з рішень, як видно з викладеного вище, полягає у відміні вимоги неупередженості. Популярний спосіб зміщення оцінювача (із доданою байєсівською інтерпретацією) - включення терміна усадки. Якщо ми змінимо масштаб відповіді:

y_{i}^{+} = 2 (y_{i} - .5), 1 \leq i \leq n

$y^+_i=2(y_i-.5),1\leq i\leq n$

а для обчислювальної доцільності замініть іншою монотонною функцією $f(\pmb x'\pmb\beta)$ - це буде зручно для подальшого позначення першого компонента вектора параметра як а решта одиниць $g(\pmb x,[c,\pmb\gamma])=\pmb x'[c,\pmb\gamma]$ $c$ $p-1$ $\pmb\gamma$ -- and include a shrinkage term (for example one of the form $||\pmb\gamma||_2$ ), the resulting optimization problem becomes:

[c^{*}, γ γ^{*}] = \underset{[[c, γ γ] \in R^{p}}{\arg min} \sum_{i = 1}^{n} max (0, 1 - y_{i}^{+} x x_{i}^{'} [[c, γ γ]) + \frac{1}{2} | | γ γ | |_{2}

$[c^*,\pmb\gamma^{*}]=\underset{\pmb[c,\pmb\gamma]\in\mathbb{R}^{p}}{\arg\min}\;\;\sum_{i=1}^n\max(0,1-y_i^+\pmb x_i'\pmb[c,\pmb\gamma])+\frac{1}{2}||\pmb\gamma||_2$

Note that in this new (also convex) optimization problem, the penalty for a correctly classified observations is 0 and it grows linearly with $\pmb x'\pmb[c,\gamma]$ for a miss-classified one --as in the $l_1$ loss. The $[c^*,\pmb\gamma^*]$ solution to this second optimization problem are the celebrated linear svm (with perfect separation) coefficients. As opposed to the $\pmb\beta^*$ , it makes sense to learn these $[c^*,\pmb\gamma^{*}]$ з даних із штрафом типу TVD ("тип" через термін зміщення). Отже, це рішення широко впроваджується. Дивіться, наприклад, пакет R LiblineaR .

— user603
джерело

Я б хотів, щоб я міг дати вам більше 25 балів :-)

— sds

@sds; thanks: it was a great question :) I will come back during the day and fill in the details, correct some typo.

— user603

Я не впевнений, чому ви хочете використовувати втрату L1 для чогось обмеженого між 0 і 1. Залежно від того, яка ваша мета, ви можете замість цього розглянути щось на зразок втрати шарніра, що подібне до втрати L1 в одному напрямку та плоскому в іншому.

У будь-якому випадку, наведений нижче код повинен виконувати те, про що ви просили. Зауважимо, що оптимальна реакція - це в основному ступінчаста функція.

set.seed(1)

# Fake data
x = seq(-1, 1, length = 100)
y = rbinom(100, plogis(x), size = 1) # plogis is the logistic function

# L1 loss
loss = function(y, yhat){
  sum(abs(y - yhat))
}

# Function to estimate loss associated with a given slope & intercept
fn = function(par){
  a = par[1]
  b = par[2]
  loss(y = y, yhat = plogis(a + b * x))
}

# Find the optimal parameters
par = optim(
  par = c(a = 0, b = 0),
  fn = fn
)$par

# Plot the results
plot(y ~ x)
curve(plogis(par[1] + par[2] * x), add = TRUE, n = 1000)

— David J. Harris
джерело

Ви можете використовувати пакет glmnet для встановлення моделей L1, L2. Вона не обмежується логістичною регресією, але включає її.

Ось віньєтка: http://web.stanford.edu/~hastie/glmnet/glmnet_alpha.html

Також є веб-майнер: https://www.youtube.com/watch?v=BU2gjoLPfDc

Бібліотека хороша, але я знайшов glmnet простіше розпочати. Glmnet включає функцію, яка робить перехресну перевірку і вибирає для вас параметр регуляризації на основі різних показників, таких як AUC.

Щодо теорії, я б прочитав документ tibshiarini щодо ласо (регуляризація L1) та розділ про елементи статистичного навчання. http://statweb.stanford.edu/~tibs/lasso/lasso.pdf

Щодо втрати журналу, варто лише оцінити моделі. Це не функція втрат для встановлення моделі.

— марбель
джерело