Які є наочні програми емпіричної вірогідності?

Я чув про емпіричну ймовірність Оуена, але до недавнього часу не звертав на це уваги, поки я не натрапив на нього в цікавій роботі ( Mengersen et al. 2012 ).

зрозуміти це, я зрозумів, що ймовірність спостережуваних даних представлена як , де і .

L = \prod_{i} p_{i} = \prod_{i} P (X_{i} = x) = \prod_{i} P (X_{i} \leq x) - P (X_{i} < x)

$L = \prod_i p_i = \prod_i P(X_i=x) = \prod_i P(X_i \le x) - P(X_i \lt x)$

\sum_{i} p_{i} = 1

$\sum_i p_i = 1$

p_{i} > 0

$p_i > 0$

Однак я не зміг зробити розумовий стрибок, пов'язуючи це уявлення з тим, як воно може бути використане для висновку про спостереження. Можливо, я занадто вкорінений у думці про ймовірні параметри wrt моделі?

Незважаючи на те, я шукав Google Академію для роботи з емпіричною ймовірністю, яка допомогла б мені інтерналізувати концепцію ... безрезультатно. Очевидно, є книга Арт Оуена про емпіричну ймовірність , але Google Books залишає всі шматочки смачних, і я все ще в повільному процесі отримання міжбібліотечної позики.

Тим часом чи може хтось люб’язно вказати мені на документи та документи, які наочно ілюструють передумови емпіричної вірогідності та як вона використовується? Ілюстративний опис самої EL також буде вітатися!

— Той самий
джерело

Зокрема, економетристи полюбили EL. Якщо ви шукаєте програми , ця література може бути одним з найкращих місць для пошуку.

— кардинал

Відповіді:

Я не можу придумати кращого місця, ніж книга Оуена, щоб дізнатися про емпіричну ймовірність.

Один практичний спосіб подумати про - це як ймовірність мультиноміального розподілу на спостережуваних точках даних . Ймовірність, таким чином, є функцією вектора ймовірності , простір параметрів дійсно є -вимірним симплекс векторів ймовірностей, і MLE додає вагу на кожне із спостережень (припустимо, що вони всі різні). Розміри простору параметрів збільшуються з кількістю спостережень. $L = L(p_1, \ldots, p_n)$ $x_1, \ldots, x_n$ $(p_1, \ldots, p_n)$ $n$ $1/n$

Центральним моментом є те, що емпірична ймовірність дає метод обчислення довірчих інтервалів шляхом профілювання, не вказуючи параметричну модель. Якщо параметр, який цікавить, є середнім, , то для будь-якого вектора ймовірності маємо, що середнє значення і ми можемо обчислити ймовірність профілю як Тоді ми можемо обчислити довірчі інтервали форми з . Тут - емпіричне значення і $\mu$ $p = (p_1, \ldots, p_n)$

μ (p) = \sum_{i = 1}^{n} x_{i} p_{i},

$\mu(p) = \sum_{i=1}^n x_i p_i,$

L_{prof} (μ) = max {L (p) ∣ μ (p) = μ} .

$L_{\text{prof}}(\mu) = \max \{ L(p) \mid \mu(p) = \mu \}.$

I_{r} = {μ ∣ L_{prof} (μ) \geq r L_{prof} (\bar{x})}

$I_r = \{ \mu \mid L_{\text{prof}}(\mu) \geq r L_{\text{prof}}(\bar{x}) \}$

r \in (0, 1)

$r \in (0,1)$

\bar{x}

$\bar{x}$

L_{prof} (\bar{x}) = n^{- n}

$L_{\text{prof}}(\bar{x}) = n^{-n}$ . Інтервали можливо, слід просто називати (профільними) вірогідностями інтервалів, оскільки жодне повідомлення про покриття не робиться заздалегідь. Зі зменшенням інтервали (так, це інтервали) утворюють вкладені, збільшуючи сімейство довірчих інтервалів. Скажімо, асимптотичну теорію або завантажувальну стрічку можна використовувати для калібрування для досягнення 95% покриття.

I_{r}

$I_r$

r

$r$

I_{r}

$I_r$

r

$r$

Книга Оуена детально висвітлює це питання і надає розширення до складніших статистичних проблем та інших цікавих параметрів.

— NRH
джерело

(+1) Не маючи доступу до книги, завжди можна почати з оригінальних робіт, щоб отримати основи теорії. Як і в книзі, папери також досить чітко написані.

— кардинал

Деякі посилання: ( 1 ) А. Оуен (1988), Емпіричне співвідношення вірогідності довірчих інтервалів для одного функціоналу , Biometrika , vol. 75, № 2, с. 237-249, ( 2 ) А. Оуен (1990), Емпіричне співвідношення ймовірності регіонів довіри , Енн. Статист. , т. 18, вип. 1, стор. 90-120 ( відкритий доступ ) та ( 3 ) А. Оуен (1991) Емпірична вірогідність лінійних моделей , Енн. Статист. , т. 19, ні. 4, стор 1725-1747 ( відкритий доступ ).

— кардинал

@cardinal Fantastic! Я повинен був подумати про це сам.

— Sameer

@NHS Дякую за ваше пояснення! Просто щоб бути ясно, є WRT в -х? Також ви можете пояснити, чому ? Чи може це бути ?

L_{p r o f} (μ)

$L_{prof}(\mu)$

a r g m a x

$argmax$

p

$p$

L_{p r o f} (\bar{x}) = n^{n}

$L_{prof}(\bar{x})=n^n$

\prod_{i} n^{- 1} = n^{- n}

$\prod_i n^{-1} = n^{-n}$

— Самєр

@Sameer, друк виправлено зараз. Однак це не аргмакс. Це імовірність профілю, отримана шляхом максимізації ймовірності для всіх векторів параметрів із заданим значенням . До речі, з відповідним доступом до університету я отримав електронну версію з CRC окремих розділів у книзі Оуена.

μ

$\mu$

— NRH

В економетриці багато прикладних робіт починаються з припущення, що де - вектор даних, - відома система рівнянь , а - невідомий параметр, . Функція походить від економічної моделі. Мета - оцінка .

E [g (X, θ)] = 0

$E[g(X,\theta)] = 0$

X

$X$

g

$g$

q

$q$

θ \in Θ \subseteq R^{p}

$\theta \in \Theta \subseteq \mathbb{R}^p$

q \geq p

$q \geq p$

g

$g$

θ

$\theta$

Традиційний підхід в економетрії для оцінки та висновку на полягає у використанні узагальненого методу моментів: де - матриця позитивного визначеного зважування і Емпірична ймовірність надає альтернативний оцінювач GMM. Ідея полягає в тому, щоб застосувати умову моменту як обмеження, коли максимізувати непараметричну ймовірність. Спочатку виправте . Тоді вирішіть умови $\theta$

{\hat{θ}}_{GMM} = {argmin}_{θ \in Θ} {\bar{g}}_{n} (θ)^{'} W {\bar{g}}_{n} (θ)

$\hat{\theta}_\text{GMM} = \text{argmin}_{\theta \in \Theta} \; \bar{g}_n(\theta) 'W \bar{g}_n(\theta)$

W

$W$

{\bar{g}}_{n} (θ) := \frac{1}{n} \sum_{i = 1}^{n} g (X_{i}, θ) .

$\bar{g}_n(\theta) := \frac{1}{n} \sum_{i=1}^n g(X_i,\theta).$

θ

$\theta$

L (θ) = max_{p_{1}, \dots, p_{n}} \prod_{i = 1}^{n} p_{i}

$L(\theta) = \max_{p_1,\ldots,p_n} \; \prod_{i=1}^n p_i$

\sum_{i = 1}^{n} p_{i} = 1, p_{i} \geq 0, \sum_{i = 1}^{n} p_{i} \cdot g (X_{i}, θ) = 0.

$\sum_{i=1}^n p_i=1, \qquad p_i \geq 0, \qquad \sum_{i=1}^n p_i \cdot g(X_i,\theta) = 0.$ Це `внутрішня петля '. Потім максимізуйте над : Показано, що цей підхід має кращі властивості більш високого порядку, ніж GMM (див. Newey and Smith 2004, Econometrica ), що є однією з причин, чому він є кращим порівняно з GMM. Для додаткової інформації дивіться примітки та лекцію Імбенса та Вулдріджа тут (лекція 15).

θ

$\theta$

{\hat{θ}}_{EL} = {argmax}_{θ \in Θ} \log L (θ) .

$\hat{\theta}_\text{EL} = \text{argmax}_{\theta \in \Theta} \; \log L(\theta).$

Звичайно, є багато інших причин, чому ЕЛ привернула увагу в економетрії, але я сподіваюся, що це корисне місце. Моделі рівності моментів дуже поширені в емпіричній економіці.

— Аельмор
джерело

Дякуємо, що написали таку чітку, чітку відповідь. Ласкаво просимо до нашої спільноти!

— whuber

В аналізі виживання крива Каплана-Мейєра є найвідомішим непараметричним оцінником функції виживання , де позначає випадкову змінну часу до події. В основному - це узагальнення функції емпіричного розподілу, яка дозволяє цензуру. Його можна вивести евристично, як це дано в більшості практичних підручників. Але він також може бути формально виведений як максимальний (емпіричний) оцінювач вірогідності. Ось більш докладно . $S(t) = Pr(T > t)$ $T$ $\hat{S}$

— окрам
джерело