Розподіл коефіцієнта зворотної регресії

Припустимо, у нас є лінійна модель яка відповідає всім стандартним припущенням регресії (Гаусса-Маркова). Нас цікавить . $y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ $\theta = 1/\beta_1$

Запитання 1: Які припущення необхідні, щоб розподіл був чітко визначений? буде важливим --- будь-які інші? $\hat{\theta}$ $\beta_1 \neq 0$

Питання 2: Додайте припущення, що помилки відповідають нормальному розподілу. Ми знаємо, що якщо є MLE, а є монотонною функцією, то є MLE для . Чи потрібна монотонність лише в районі ? Іншими словами, MLE чи ? Теорема безперервного відображення принаймні говорить про те, що цей параметр є послідовним. $\hat{\beta}_1$ $g(\cdot)$ $g\left(\hat{\beta}_1\right)$ $g(\beta_1)$ $\beta_1$ $\hat{\theta} = 1/\hat{\beta}$

Питання 3: Чи і метод Delta, і завантажувальний пристрій є відповідними засобами пошуку розподілу ? $\hat{\theta}$

Питання 4: Як змінюються ці відповіді для параметра ? $\gamma = \beta_0 / \beta_1$

Убік: ми можемо розглянути можливість перестановки проблеми, щоб дати для прямого визначення параметрів. Здається, це не працює для мене, оскільки припущення Гаусса-Маркова вже не мають сенсу; наприклад, ми не можемо говорити про . Чи правильне це тлумачення?

\begin{aligned} х_{i} & = \frac{β_{0}}{β_{1}} + \frac{1}{β_{1}} у_{i} + \frac{1}{β_{1}} ϵ_{i} \\ = γ + θ у_{i} + \frac{1}{β_{1}} ϵ_{i} \end{aligned}

$\begin{align*} x_i &= \frac{\beta_0}{\beta_1} + \frac{1}{\beta_1} y_i + \frac{1}{\beta_1} \epsilon_i \\ &= \gamma + \theta y_i + \frac{1}{\beta_1} \epsilon_i \end{align*}$

E [ϵ ∣ y]

$\text{E}[\epsilon \mid y]$

— Чарлі
джерело

Чи включають "стандартні" припущення нормальність чи ні?

ϵ_{i}

$\epsilon_i$

— whuber

Гарна думка; Я додав це припущення до частини про MLE. Однак це не повинно бути необхідним для інших.

— Чарлі

Розподіл вибірки є нормальним, звідки розподілення є зворотним нормалом. Це бімодальне з розбіжним (нескінченним) середнім значенням, незалежно від того, яке середнє значення може бути , і нескінченно рівне значення 0. Метод Дельта буде, таким чином, жахливим, звичайне асимптотичне наближення MLE буде поганим, і навіть завантажувальна стрічка може бути підозрюваним.

β_{1}

$\beta_1$

θ

$\theta$

β_{1}

$\beta_1$

— whuber

@whuber, Ви можете розширити це? Моя інтуїція не бачить, як зворотна норма норма повинна бути бімодальною; я думаю, що вся маса буде відповідати середньому від норми (тут, ). Мене хвилювало нескінченна середня можливість через масу біля 0. Завантажувальний і асимптотичний результати вимагають існування моментів, що оцінюються, так що саме в цьому питанні і залежить від цього питання.

1 / {\hat{β}}_{1}

$1/\hat{\beta}_1$

— Чарлі

PDF зворотної нормальної норми - . При 0 всі похідні рівні 0; знаходження критичних точок його логарифму ідентифікує позитивний і негативний режим (легко обчислюється через та ); інтегралрозходиться як інтеграл. Проблема з нескінченними першими моментами приєднується до зворотної будь-якої випадкової величини, що має позитивну щільність ймовірності при 0, що включає всі нормалі.

\exp (- (1 / x - μ)^{2} / (2 σ^{2})) / (\sqrt{2 π} x^{2} σ) d x

$\exp(-(1/x-\mu)^2/(2\sigma^2))/(\sqrt{2\pi}x^2\sigma)dx$

σ

$\sigma$

μ / σ

$\mu/\sigma$

| x |

$|x|$

| x | / x^{2} = 1 / | x |

$|x|/x^2=1/|x|$

— whuber

Q1. Якщо є MLE , то є MLE і є достатньою умовою, щоб цей оцінювач був чітко визначений. $\hat\beta_1$ $\beta_1$ $\hat\theta$ $\theta$ $\beta_1 \neq 0$

Q2. - значення MLE за властивістю інваріації MLE. Крім того, вам не потрібна монотонність якщо вам не потрібно отримати його зворотну. Потрібно лише добре визначити у кожній точці. Ви можете перевірити це в теоремі 7.2.1 стор. 350 "Імовірності та статистичні умовиводи" Нітіса Мухопадхяя. $\hat\theta = 1/\hat\beta$ $\theta$ $g$ $g$

Q3. Так, ви можете використовувати обидва способи, я б також перевірив імовірність профілю . $\theta$

Q4. Тут ви можете перемомеризувати модель за параметрами, що цікавлять . Наприклад, MLE є і ви можете обчислити ймовірність профілю цього параметра або його розповсюдження як завантаження, як зазвичай. $(\theta,\gamma)$ $\gamma$ $\hat\gamma=\hat\beta_0/\hat\beta_1$

Підхід, який ви згадуєте в кінці, невірний, ви насправді розглядаєте "модель калібрування", яку ви можете перевірити в літературі. Єдине, що вам потрібно, - це перемацати за параметрами, що цікавлять.

Я сподіваюся, що це допомагає.

З повагою.

— XMX
джерело

Дякуємо за відповідь. У мене немає тієї книги, яку ви цитуєте, але часто ці властивості вимагають існування моментів, що оцінюються. Я не впевнений, що зворотна нормальність має необхідні моменти. Я мав би зробити це питання яснішим у своєму питанні.

— Чарлі