Моделювання, коли залежна змінна має "межування"

Вибачте заздалегідь, якщо будь-яка термінологія, яку я використовую, є невірною. Я вітаю будь-які виправлення. Якщо те, що я характеризую як "відсікання", має інше ім'я, дайте мені знати, і я можу оновити питання.

Мене цікавить ситуація така: у вас є незалежні змінні і одна залежна змінна . Я залишу це розпливчастим, але припустимо, що було б досить просто отримати гарну регресійну модель для цих змінних. $\bf{x}$ $y$

Однак модель, яку ви прагнете створити, призначена для незалежних змінних і залежної змінної , де - деяке фіксоване значення в межах . Так само дані, до яких ви маєте доступ, не включають , а лише . $\bf{x}$ $w = \min(y,a)$ $a$ $y$ $y$ $w$

Приклад цього (дещо нереальний) був би, якби ви намагалися моделювати, скільки років люди збиратимуть пенсію. У цьому випадку $\bf{x}$ може бути відповідною інформацією, такою як стать, вага, години занять на тиждень тощо. Змінна "основна" $y$ буде тривалістю життя. Однак змінна, до якої ви мали б доступ і намагаєтеся передбачити у вашій моделі, буде $w = \min(0, y-r)$ де r - пенсійний вік (якщо припустити, що це простота).

Чи є хороший підхід для вирішення цього питання в регресійному моделюванні?

— Бен Аронсон
джерело

Я не впевнений, але це здається, що це може бути доступним через певний варіант аналізу виживання. 1) Це передбачає цензуру 2) Принаймні у вашому прикладі це передбачає час. Але це було б лівоцензурним, а не правоцензурним (що є більш поширеним). Якщо ви згодні зі мною, ви можете додати тег виживання і побачити, чи хтось на нього стрибає.

— Пітер Флом - Відновіть Моніку

@Peter Це впевнено виглядає для мене правоцензурованим. На якій стороні відбувається цензура, це мало імпорту, оскільки, відкидаючи залежну змінну, перемикається між правою та лівою цензурою.

— whuber

@whuber Я думаю, ти маєш рацію. Але, як ви кажете, цензура може переключитися досить легко.

— Пітер Флом - Відновити Моніку

Приклад виходу на пенсію, як видається, вимагає розробити модель даних про підрахунок (якщо ви готові обійти цілі роки і до тих пір, поки до моменту запуску аналізу всі мертві). Підхід під латентною змінною здається розтягнутим, оскільки час не може бути негативним.

— Мастеров Димитрій Вікторович

Така модель має декілька найменувань, залежно від дисципліни та теми. Загальні назви для нього - цензуровані залежні змінні, усічені залежні змінні, обмежені залежні змінні, аналіз виживання, тобіт і цензурова регресія. Я, мабуть, залишаю кілька інших імен.

Установка, яку ви пропонуєте, де спостерігається , називається "правильною цензурою", оскільки значення занадто далеко праворуч від реального рядка цензуруються --- і замість цього ми просто бачимо точку цензури, . $\min\{y_i,a\}$ $y_i$ $a$

Один із способів поводження з подібними даними - це використання прихованих змінних (і це в основному те, що ви пропонуєте). Ось один із способів:

\begin{aligned} y_{i} & = x_{i}^{'} β + ε_{i} \\ w_{i} & = min {y_{i}, a} \\ ε_{i} & \sim N (0, σ^{2}) i i d \end{aligned}

$\begin{align} y_i &= x_i'\beta+\varepsilon_i\\ w_i &= \min\{y_i, a\}\\ \varepsilon_i &\sim N(0,\sigma^2)\; \ {\rm iid} \end{align}$

Потім ви можете проаналізувати це за максимальною ймовірністю. Спостереження, де відбувається цензування, вносять до функції ймовірності, а спостереження, коли цензура не відбувається, сприяють функції ймовірності. CDF стандартної норми становить а щільність стандартної норми - . Отже, функція ймовірності виглядає так: $P\{y_i>a\}=\Phi(\frac{1}{\sigma}x_i'\beta-a)$ $\frac{1}{\sigma}\phi((y_i-x_i'\beta)/\sigma)$ $\Phi$ $\phi$

\begin{aligned} L (β, σ) & = \prod_{i \in censored} Φ (\frac{1}{σ} x_{i}^{'} β - a) \prod_{i \notin censored} \frac{1}{σ} ϕ ((y_{i} - x_{i}^{'} β) / σ) \end{aligned}

$\begin{align} L(\beta,\sigma) &= \prod_{i\ \in\ \text{censored}} \Phi\left(\frac{1}{\sigma}x_i'\beta-a\right) \prod_{i\ \not\in\ \text{censored}} \frac{1}{\sigma}\phi\big((y_i-x_i'\beta)/\sigma\big) \end{align}$

Ви оцінюєте та , максимізуючи це. Ви отримуєте стандартні помилки як звичайні максимально допустимі стандартні помилки. $\beta$ $\sigma$

Як ви можете собі уявити, це лише один підхід серед багатьох.

— Білл
джерело

+1 Працюючий приклад рішення ML з’являється на сайті stats.stackexchange.com/questions/49443 .

— whuber

@whuber Це приємна експозиція.

— Білл