Як логістична регресія може створювати криві, які не є традиційними функціями?

15

Я думаю, що у мене є деяка принципова плутанина щодо того, як функціонують функції логістичної регресії (або, можливо, просто функціонують в цілому).

Як так, що функція h (x) виробляє криву, видно в лівій частині зображення?

Я бачу, що це графік з двох змінних, але потім ці дві змінні (x1 & x2) також є аргументами самої функції. Я знаю стандартні функції однієї змінної карти на один вихід, але ця функція явно не робить цього - і я не зовсім впевнений, чому.

Моя інтуїція полягає в тому, що синя / рожева крива насправді не нанесена на цьому графіку, а є представленням (кола та X), які отримують відображення значень у наступному вимірі (3-му) графіку. Це міркування є несправним і я просто щось пропускаю? Дякую за будь-яке розуміння / інтуїцію.

logistic data-visualization function

— Сем
джерело

8

Зверніть увагу на мітки осі, зверніть увагу, що жодна з них не позначена .

y

$y$

— Метью Друрі

3

Що таке "традиційна функція"?

— whuber

@matthewDrury Я розумію це, і це пояснює 2D X / Os. Я запитую, звідки тоді береться задумлена крива

— Сем

19

Це приклад перевиконання Ендрю Нґ за курсом Coursera з ML у випадку класифікаційної моделі з двома ознаками , в якій справжні значення символізуються і $(x_1, x_2)$ $\color{red}{\large \times}$ $\color{blue}{\large\circ},$ а межа рішення - точно з урахуванням навчального набору за допомогою використання поліноміальних термінів високого порядку.

Проблема, яку вона намагається проілюструвати, стосується того, що, хоча лінія граничного рішення (криволінійна лінія синім кольором) не класифікує жодних прикладів, її здатність узагальнюватись із навчального набору буде порушена. Ендрю Нг далі пояснює, що регуляризація може пом'якшити цей ефект, і малює пурпурову криву як межу рішення, менш тугу до тренувального набору, і швидше за все узагальнює.

Що стосується вашого конкретного питання:

Моя інтуїція полягає в тому, що синя / рожева крива насправді не нанесена на цьому графіку, а є представленням (кола та X), які отримують відображення значень у наступному вимірі (3-му) графіку.

Немає висоти (третій вимір): є дві категорії і а рядок рішення показує, як модель їх розділяє. У більш простій моделі $(\large\times$ $\large\circ),$

{год}_{θ} (х) = г (θ_{0} + θ_{1} х_{1} + θ_{2} х_{2})

$h_\theta(x)=g\left(\theta_0 + \theta_1 \, x_1 + \theta_2 \, x_2 \right)$

межа рішення буде лінійною.

Можливо, ви маєте на увазі щось подібне, наприклад:

5 + 2 x - 1.3 x^{2} - 1.2 x^{2} y + 1 x^{2} y^{2} + 3 х^{2} у^{3}

$5 + 2 x - 1.3 x^2 -1.2 x^2 y + 1 x^2 y^2 + 3 x^2 y^3$

$g(\cdot)$ $x_1$ $x_2$ $\large \times$ $\large($ $\large \circ).$ $(1,0)$

$(x_1,x_2)$ $\large \times$ $\large \circ$ $\color{red}{\large \times}$ $\color{blue}{\large \circ}$ $\large \times$ $\large \circ$ частина частинаця запис у блозі на R-блогерах ).

Помітьте запис у Вікіпедії на межі рішення :

У задачі статистичної класифікації з двома класами межа рішення чи поверхня рішення - це гіперповерхня, яка розділяє базовий векторний простір на два набори, по одному для кожного класу. Класифікатор класифікує всі точки на одній стороні межі рішення як належність до одного класу, а всі ті, що знаходяться на іншій стороні, як належать до іншого класу. Межа рішення - область проблемного простору, в якій мітка виводу класифікатора неоднозначна.

$∈[0,1]),$

$3$

$y_1 = h_\theta(x)$ $\mathbf W$ $(\Theta)$ $\Theta$

Приєднуючись до декількох нейронів, ці розділюючі гіперплани можуть бути додані та відняті до кінця з примхливими фігурами:

Це посилання на теорему універсального наближення .

— Антоні Пареллада
джерело

1

+1 завжди сподобається читати свою відповідь. Це може бути ще краще, якщо у вас може бути площину рішення, що перетинається з вашим сюжетом. щоб показати деякі вище, а деякі під.

— Haitao Du

Дуже дякую за це. Я все ще відчуваю, ніби я пропускаю щось невелике у самій кривій-- це означає, що межа рішення насправді не "намальована", а це лише спосіб Ендрю Нґ вказувати порогові значення x1 & x2, які викликати гіпотезу або ×, або ∘? Я думаю, що деяка моя плутанина виникла з того, як ця крива може бути функцією в першу чергу, але я тепер усвідомлюю, що це не так.

— Сем

1

@AntoniParellada Це чудово, я зараз бачу відмінність. Велике спасибі за допомогу.

— Сем

0

У нас є кілька важких математиків, які відповідають на це питання. Я ніколи не бачив діаграми, як ви зображуєте тут, зі значеннями для предикторів X1 і X2 та лінією "межа кордону", яка відокремлює прогнозовані позитиви від прогнозованих негативів. (чи це карта передбачуваних та фактичних результатів?) Але це корисно --- до тих пір, поки у вас є лише два прогнозника інтересу, які ви хочете скласти на карту.
Виявляється, що пурпурова лінія відокремлює прогнозовані позитиви від прогнозованих негативів, тоді як темно-синя лінія включає всі позитивні. Зазвичай це відбувається при логістичній регресії: модель правильно прогнозує результат менш ніж на 100% випадків (і передбачить деякі помилкові позитиви та / або помилкові негативи).
Можна запустити логістичну регресію і дозволити процедурі виробляти функцію h (x) для кожного окремого випадку в наборі даних. Це дасть бал схильності для кожного суб'єкта, від 0 до 1, що дає прогнозовану ймовірність або ймовірність позитивного результату для кожного суб'єкта на основі змінних прогнозів цього суб'єкта на основі моделі логістичної регресії з використанням всіх суб'єктів. Передбачається, що ті, у кого показник схильності становить 0,5 або вище, мають результат, а ті, хто нижче 0,5, не мають результату. Але ви можете скорегувати цей рівень відсікання, як вам здається, наприклад, скласти модель діагностичного прогнозування певного результату на основі всіх вхідних змінних, що вводяться у вашій логістичній регресійній аналізі. Наприклад, ви можете встановити обріз на рівні 0,3. Потім ви можете скласти таблицю 2X2 прогнозованих та фактичних результатів та визначити свою чутливість, специфічність, помилково позитивну швидкість та помилково негативну швидкість моделі на основі цього рівня відсікання. Це надає більше інформації, а також звільняє вас від обмеження 2 змінних, використовуваних у вашому графіку. Ви можете використовувати стільки прогнозів, скільки зможете вписатись у модель, і все ж скласти таблицю 2X2 фактичного порівняно з передбачуваним результатом. Оскільки логістична регресія використовує категоричні (так-ні) результати, кожна клітинка таблиці 2X2 є просто кількістю суб'єктів, які відповідають критеріям рядків та стовпців. Ви можете використовувати стільки прогнозів, скільки зможете вписатись у модель, і все ж скласти таблицю 2X2 фактичного порівняно з передбачуваним результатом. Оскільки логістична регресія використовує категоричні (так-ні) результати, кожна клітинка таблиці 2X2 є просто кількістю суб'єктів, які відповідають критеріям рядків та стовпців. Ви можете використовувати стільки прогнозів, скільки зможете вписатись у модель, і все ж скласти таблицю 2X2 фактичного порівняно з передбачуваним результатом. Оскільки логістична регресія використовує категоричні (так-ні) результати, кожна клітинка таблиці 2X2 є просто кількістю суб'єктів, які відповідають критеріям рядків та стовпців.
На графіку, який ви надаєте, він, ймовірно, передбачає відсічення 0,5. Це звичайний стандарт для програмного забезпечення. Якщо ви відрегулювали його вище (наприклад, до 0,65), він може включати всі O у внутрішньому рядку, але у вас також з’являться помилкові позитиви (X, які, на його думку, повинні бути O), які, за прогнозами моделі, матимуть результат відсотки. (або відрегулюйте показник обрізання нижче та матиме більше помилкових негативів).
Я сподіваюся, що це допомагає.

— Джеррі
джерело