Методи регуляризації логістичної регресії

Регуляризація за допомогою таких методів, як Ridge, Lasso, ElasticNet, досить поширена для лінійної регресії. Мені хотілося знати наступне: чи застосовуються ці методи для логістичної регресії? Якщо так, чи є якісь відмінності в способі їх використання для логістичної регресії? Якщо ці методи не застосовуються, як можна регулювати логістичну регресію?

regression logistic regularization

— ТАК
джерело

Ви дивитесь на певний набір даних, і, таким чином, вам потрібно розглянути можливість відстеження даних для обчислення, наприклад, вибір, масштабування та компенсація даних, щоб початковий обчислення має тенденцію до успіху. Або це більш загальний погляд на hows and whys (без конкретного набору даних для обчислення проти0?

— Філіп Оуклі

Це більш загальний погляд на те, як реагувати на регуляризацію. Вступні тексти для методів регуляризації (хребет, Лассо, Еластикнет тощо), які я натрапив на конкретно згадані приклади лінійної регресії. Жоден з них не згадував конкретно логістичного характеру, звідси і питання.

— TAK

Логістична регресія - це форма GLM, що використовує функцію зв'язку без ідентичності, майже все стосується.

— Firebug

Ви натрапили на відео Ендрю Нґ на цю тему?

— Антоні Пареллада

Рідж, ласо і еластична регресія сітки - популярні варіанти, але це не єдині варіанти регуляризації. Наприклад, матриці вирівнювання карають функції великими другими похідними, так що параметр регуляризації дозволяє "набрати" регресію, що є хорошим компромісом між надмірними та недостатніми даними. Як і у випадку регресії сітка / ласо / еластична сітка, вони також можуть використовуватися при логістичній регресії.

— Відновіть Моніку

Відповіді:

Так, регуляризація може бути використана у всіх лінійних методах, включаючи регресію та класифікацію. Я хотів би показати вам, що різниця між регресією та класифікацією не надто велика: різниця лише в функції втрат.

Зокрема, є три основні компоненти лінійного методу: Функція втрат, Регулялізація, Алгоритми . Якщо функція втрат плюс регуляризація є об'єктивною функцією в задачі в оптимізаційній формі і алгоритм є способом її вирішення (цільова функція випукла, ми не будемо обговорювати в цій публікації).

$L(\hat y,y)=(\hat y -y)^2$ $L(\hat y,y)=|\hat y -y|$ $L( \cdot )$ $y$ $\hat y$

$L(\hat y, y)=\log (1+ \exp(-\hat y y))$ $L(\hat y, y)= (1- \hat y y)_+$ $y$ $\{-1,1\}$ $\hat y$ $\hat y$

У налаштуваннях регуляризації ви згадали про регуляризацію L1 та L2, також існують інші форми, про які не піде мова в цій публікації.

Тому на високому рівні лінійний метод

\underset{w}{minimize} \sum_{x, y} L (w^{⊤} x, y) + λ h (w)

$\underset{w}{\text{minimize}}~~~ \sum_{x,y} L(w^{\top} x,y)+\lambda h(w)$

Якщо ви заміните функцію втрати з налаштування регресії на логістичну втрату, ви отримаєте логістичну регресію з регуляризацією.

Наприклад, у регресії хребта проблема оптимізації є

\underset{w}{minimize} \sum_{x, y} (w^{⊤} x - y)^{2} + λ w^{⊤} w

$\underset{w}{\text{minimize}}~~~ \sum_{x,y} (w^{\top} x-y)^2+\lambda w^\top w$

Якщо ви заміните функцію втрати на логістичну втрату, проблема стає

\underset{w}{minimize} \sum_{x, y} \log (1 + \exp (- w^{⊤} x \cdot y)) + λ w^{⊤} w

$\underset{w}{\text{minimize}}~~~ \sum_{x,y} \log(1+\exp{(-w^{\top}x \cdot y)})+\lambda w^\top w$

Тут ви маєте логістичну регресію з регуляризацією L2.

Так виглядає в іграшковому синтезованому наборі даних бінарних даних. Ліва цифра - це дані з лінійною моделлю (межа рішення). Правий малюнок - контур об'єктивної функції (вісь x і y представляє значення для 2 параметрів.). Набір даних був сформований з двох Гаусса, і ми підходимо до логістичної регресійної моделі без перехоплення, тому у правій підрозділі є лише два параметри, які ми можемо візуалізувати.

Сині лінії - це логістична регресія без регуляризації, а чорні - логістична регресія з L2 регуляризацією. Сині та чорні точки у правій фігурі є оптимальними параметрами для об'єктивної функції.

$\lambda$ $0$

Ось ще один приклад регуляризації L1.

Зауважимо, що мета цього експерименту намагається показати, як регуляризація працює в логістичній регресії, але не аргументувати регульовану модель краще.

$\lambda$ $\lambda$ $0$

$w$ $x$ $y$ $\hat y = f(x)=w^\top x$ $1$

$y$ $y \in \{-1,1\}$

$\hat y=w^{\top} x$ $\hat y$ $y$ $\hat y = w^{\top} x$ $\{-1,1\}$ $\hat y$

$y \in \{0,1\}$

Код можна знайти в іншій моїй відповіді тут.

Чи є інтуїтивне пояснення, чому логістична регресія не буде працювати для ідеального випадку розлуки? І чому додавання регуляризації виправить це?

— Хайтао Ду
джерело

w^{T} x

$w^Tx$

f (x)

$f(x)$

Дякую за відповідь @ hxd1011, чи можете ви пояснити, що представляють суцільні чорні лінії на контурному графіку? Якщо бути точнішим, я знаю, що (як ви пояснили) вісь x і y показує 2 використовувані нами параметри. А як щодо суцільних ліній та їх кількості, як 8000, 10000, 12000. Дякую!

— Джеспар

@Jespar en.m.wikipedia.org/wiki/Contour_line

— Хайтао Ду

l^{*} (β) = l (β) + \frac{1}{2} \ln | i (β) |

$l^*(\beta) = l(\beta) + \frac12 \ln |i(\beta)|$

i (β) = \frac{1}{n} \sum_{i} p_{i} (1 - p_{i}) x_{i} x_{i}^{'}

$i(\beta) = \frac1n \sum_i p_i (1-p_i) x_i x_i'$

{(y_{i}, x_{i}) ‖ = {(1, 1), (0, 0)}

$\{(y_i,x_i)\| = \{(1,1),(0,0)\}$ glmR

— СтасК
джерело

Так, ви можете використовувати для цього R пакети logistf або brglm! Можливо, варто згадати ...

— Том Венселерс

Це дуже елегантно, але оптимізація досить повільна, чи не так? У градієнті ви отримуєте зворотну частину яку потрібно перерахувати в кожній ітерації ...

i (β)

$i(\beta)$

— appletree

Дійсно, болісно повільно, @appletree

— StasK

(+1) Я раніше не чув про виправлення Фірта. Я б не очікував, що підхідний підхід у цитованому документі додасть багато часу рішенню GLM? (Вам не потрібно перетворювати матрицю, просто обчислюйте важелі. Якщо розв'язувати ГЛМ за допомогою ітеративно зважених найменших квадратів, це лише рядкові норми коефіцієнта Q. Потім важелі просто додають до даних та експозиції, використовуючи замість у коригуванні Джеффрі .)

h / 2

$h/2$

1 / 2

$1/2$

— GeoMatt22

Так, це застосовно до логістичної регресії. У R, використовуючи glmnet, ви просто вкажете відповідне сімейство, яке є "двочленним" для логістичної регресії. Є кілька інших (отрута, багаточлен та ін.), Які ви можете вказати залежно від ваших даних та проблеми, яку ви вирішуєте.

— боговидний
джерело

Недоліком просто використовувати glmnet для цього є те, що такий підхід не дасть вам значущості. Якщо вас цікавлять, то R-пакети logistf або brglm були б кращим способом піти ...

— Том Венселерс

@TomWenseleers також є методи завантаження glmnet для отримання p-значень. Однак це трохи складніше, оскільки "звичайна" завантажувальна програма не працює для коефіцієнтів ласо

— godspeed

Дякую за те, що повідомили мені про це, я бачив, як інші згадують про це, наприклад, тут: stats.stackexchange.com/questions/34859/… , але не можу знайти нічого стандартного, реалізованого в якомусь пакеті R. Чи траплялося б у вас вказівники? Або хороша первинна література з цього приводу? Недоліком завантажувального механізму є також те, що зазвичай це буде дуже повільно для великих наборів даних ...

— Tom Wenseleers

Ви посилаєтесь на такі методи, як ті, що реалізовані в пакеті R hdi, cran.r-project.org/web/packages/hdi/index.html ?

— Tom Wenseleers