12

Я вивчаю, як побудувати 95% довірчий інтервал для коефіцієнта шансів з коефіцієнтів, отриманих при логістичній регресії. Отже, розглядаючи модель логістичної регресії,

журнал (\frac{p}{1 - p}) = α + β х

$\log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE}$

таким, що $x = 0$ для контрольної групи та $x = 1$ для групи випадків.

Я вже читав, що найпростіший спосіб - побудувати 95% CI для $\beta$ тоді ми застосували експоненціальну функцію, тобто

\hat{β} \pm 1,96 \times S Е (\hat{β}) \to досвід {\hat{β} \pm 1,96 \times S Е (\hat{β})}

$\hat{\beta} \pm 1.96\times \se(\hat{\beta}) \rightarrow \exp\{\hat{\beta} \pm 1.96\times \se(\hat{\beta})\}$

Мої запитання:

Яка теоретична причина обґрунтовує цю процедуру? Я знаю, що $\mbox{odds ratio} = \exp\{\beta\}$ і максимальна оцінка ймовірності інваріантні. Однак я не знаю зв'язку між цими елементами.
Чи повинен метод дельти виробляти той самий 95% довірчий інтервал, як попередня процедура? Використовуючи метод дельти,

$досвід {\hat{β}} \dot{\sim} N (β, досвід {β}^{2} V а r (\hat{β}))$ $\exp\{\hat{\beta}\} \dot{\sim} N(\beta,\ \exp\{\beta\}^2 \var(\hat{\beta}))$
Потім,

$досвід {\hat{β}} \pm 1,96 \times \sqrt{досвід {β}^{2} V а r (\hat{β})}$ $\exp\{\hat{\beta}\} \pm 1.96\times \sqrt{\exp\{\beta\}^2 \var(\hat{\beta})}$
Якщо ні, то яка найкраща процедура?

— Марчіо Аугусто Дініз
джерело

1

Мені також подобається завантажувальний інструмент для CI, якщо у мене є значення параметрів або дані тренувань достатнього розміру.

— EngrStudent

2

Є кращий спосіб зробити це, дивіться stats.stackexchange.com/questions/5304/… подробиці

— mdewey

7

Обґрунтуванням процедури є асимптотична нормальність MLE для і випливає з аргументів, що стосуються теореми про центральний межа. $\beta$
Метод Delta походить від лінійного (тобто Тейлора першого порядку) розширення функції навколо MLE. Згодом ми звертаємось до асимптотичної нормальності та неупередженості MLE.

Асимптотично обидва дають однакову відповідь. Але практично ви б віддали перевагу тому, який виглядає більш нормально. У цьому прикладі я віддав би перевагу першому, оскільки останній, ймовірно, буде менш симетричним.

— Амір
джерело

3

Порівняння методів довірчих інтервалів на прикладі ISL

Книга "Вступ до статистичного навчання" Тібшірані, Джеймса, Хасті надає приклад на сторінці 267 інтервалів довіри для поліноміальної логістичної регресії ступеня 4 за даними заробітної плати . Цитування книги:

Ми моделюємо бінарних подій використовуючи логістичну регресію з поліномом ступеня 4. Встановлена задня ймовірність заробітної плати, що перевищує 250 000 доларів, показана синім кольором, а також приблизно 95% довірчий інтервал. $wage>250$

Нижче наведено короткий підсумок двох методів побудови таких інтервалів, а також коментарі щодо їх реалізації з нуля

Інтервали трансформації Wald / Endpoint

Обчисліть верхню та нижню межі довірчого інтервалу для лінійної комбінації (використовуючи КІ Wald) $x^T\beta$
Застосуйте монотонне перетворення до кінцевих точок для отримання ймовірностей. $F(x^T\beta)$

Оскільки є монотонним перетворенням $Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[П r (х^{Т} β)_{L} \leq П r (х^{Т} β) \leq П r (х^{Т} β)_{U}] = [Ж (х^{Т} β)_{L} \leq Ж (х^{Т} β) \leq Ж (х^{Т} β)_{U}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

Конкретно це означає обчислити а потім застосувати перетворення logit до результату, щоб отримати нижню і верхню межі: $\beta^Tx \pm z^* SE(\beta^Tx)$

[\frac{е^{х^{Т} β - z^{*} S Е (х^{Т} β)}}{1 + е^{х^{Т} β - z^{*} S Е (х^{Т} β)}}, \frac{е^{х^{Т} β + z^{*} S Е (х^{Т} β)}}{1 + е^{х^{Т} β + z^{*} S Е (х^{Т} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

Обчислення стандартної помилки

Максимальна теорія ймовірності говорить нам, що приблизна дисперсія може бути обчислена за допомогою матриці коваріації коефіцієнтів регресії за допомогою $x^T\beta$ $\Sigma$

V а r (х^{Т} β) = х^{Т} Σ х

$Var(x^T\beta) = x^T \Sigma x$

Визначте проектну матрицю та матрицю як $X$ $V$

X = [\begin{matrix} 1 & х_{1, 1} & \dots & х_{1, p} \\ 1 & х_{2, 1} & \dots & х_{2, p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & х_{н, 1} & \dots & х_{н, p} \end{matrix}] V = [\begin{matrix} {\hat{π}}_{1} (1 - {\hat{π}}_{1}) & 0 & \dots & 0 \\ 0 & {\hat{π}}_{2} (1 - {\hat{π}}_{2}) & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & {\hat{π}}_{н} (1 - {\hat{π}}_{н}) \end{matrix}]

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix} \ \ \ \ \textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$

де - значення ї змінної для го спостереження, а являє собою прогнозовану ймовірність спостереження . $x_{i,j}$ $j$ $i$ $\hat{\pi}_{i}$ $i$

Матриця коваріації може бути знайдена у вигляді: і стандартна помилка як $\Sigma = \textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$ $SE(x^T\beta) = \sqrt{Var(x^T\beta)}$

95-відсоткові довірчі інтервали для передбачуваної ймовірності можуть бути побудовані як

Довірчі інтервали методу Дельти

Підхід полягає в обчисленні дисперсії лінійного наближення функції і використанні цього для побудови великих вибіркових довірчих інтервалів. $F$

Вар [Ж (х^{Т} \hat{β})] \approx \nabla Ж^{Т} Σ \nabla Ж

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx \nabla F^T \ \Sigma \ \nabla F$

Де - градієнт, а матриця розрахункової коваріації. Зауважте, що в одному вимірі: $\nabla$ $\Sigma$

\frac{\partial Ж (х β)}{\partial β} = \frac{\partial Ж (х β)}{\partial х β} \frac{\partial х β}{\partial β} = х f (х β)

$\frac{\partial F(x\beta)}{\partial \beta} = \frac{\partial F(x\beta)}{\partial x\beta} \frac{\partial x\beta}{\partial \beta} = x f(x\beta)$

Де є похідною . Це узагальнюється у багатовимірному випадку $f$ $F$

Вар [Ж (х^{Т} \hat{β})] \approx f^{Т} х^{Т} Σ х f

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx f^T \ \mathbf{x^T} \ \Sigma \ \mathbf{x} \ f$

У нашому випадку F - це логістична функція (яку ми позначимо ), похідна якої - $\pi(x^T\beta)$

π^{'} (х^{Т} β) = π (х^{Т} β) (1 - π (х^{Т} β))

$\pi'(x^T\beta) = \pi (x^T\beta) (1 - \pi (x^T\beta) )$

Тепер ми можемо побудувати довірчий інтервал, використовуючи дисперсію, обчислену вище.

С . Я . = [П r (х \hat{β}) - z^{*} \sqrt{Вар [π (х \hat{β})]} \leq П r (х \hat{β}) + z^{*} \sqrt{Вар [π (х \hat{β})]}]

$C.I. = [Pr(x\hat \beta) - z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} \leq Pr(x\hat \beta) + z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} ]$

У векторній формі для багатофакторного випадку

С . Я . = [π (х^{Т} \hat{β}) \pm z^{*} \sqrt{{(π (х^{Т} \hat{β}) (1 - π (х^{Т} \hat{β})))}^{Т} х^{Т} Вар [\hat{β}] х π (х^{Т} \hat{β}) (1 - π (х^{Т} \hat{β}))]}

$C.I. = \mathbf{[\pi(x^T\hat \beta) \pm z^* \sqrt{ \left(\pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) \right)^T x^T \ \ \text{Var}[ \hat \beta] \ \ x \ \ \pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) ]}}$

Зауважте, що являє собою єдину точку даних у , тобто один рядок проектної матриці $\mathbf{x}$ $\mathbb{R}^{p+1}$ $X$

Відкритий висновок

Перегляд графіків нормальної QQ як для ймовірностей, так і для негативних коефіцієнтів журналу показує, що жоден з них зазвичай не розподіляється. Чи може це пояснити різницю?

Джерело:

— Xavier Bourret Sicotte
джерело

1

Для більшості цілей, мабуть, найкращий найпростіший спосіб, про що йдеться в контексті перетворення журналу на цій сторінці . Подумайте про вашу залежну змінну як проаналізовану в шкалі logit, за допомогою статистичних тестів та інтервалів довіри (CI), визначених на цій шкалі logit. Коефіцієнт зворотного перетворення на коефіцієнт - це просто поставити ці результати в масштаб, який читач може легше зрозуміти. Це також робиться, наприклад, в аналізі виживання Кокса, де коефіцієнти регресії (і 95% ДІ) піддаються впливу коефіцієнта небезпеки та їх ІС.

— EdM
джерело

Різні способи створити інтервал довіри для коефіцієнта шансів від логістичної регресії

Порівняння методів довірчих інтервалів на прикладі ISL

Інтервали трансформації Wald / Endpoint

Обчислення стандартної помилки

Довірчі інтервали методу Дельти

Відкритий висновок