Умови М-оцінки, щоб перейти до справжньої середньої

10

Враховуючи iid-зразки з гауссового розподілу та M-оцінка, , які властивості на достатні, щоб гарантувати вірогідності? Є бути строго опуклою і строго зростає досить? $X_1,...,X_n \sim N(\mu,\sigma)$ $\mu_m = \underset{a}{\operatorname{argmin}} \sum\rho(|X_i-a|)$ $\rho$ $\mu_m \rightarrow \mu$ $\rho$

estimation

— Гусениці
джерело

Оскільки ви можете взяти і тоді - це зразок середнього значення, це означає, що він може бути навіть не строго опуклим, але суворо зростаючим так. видається достатнім, хоча це все ще доведено. Інтуїтивно сувора опуклість забезпечує унікальний глобальний мінімум, оскільки суворо збільшується важливе припущення про гауссі.

ρ (x) = x

$\rho(x) = x$

μ_{m}

$\mu_m$

— Дмитро Челов

1

Тут можуть допомогти паперові асимптотики для мінімізаторів опуклих процесів Хортом та Поллардом, хоча він не спеціалізується на розподілах Гаусса, і він вважає більш загальну форму функції контрасту, а саме , хоча їх позначення є . Крім опуклості в , вони вимагають розширення в навколо , в певному сенсі, що пов'язано з розподілом даних. Отже, не так просто, як просто сказати $\rho(x,a)$ $g(y,t)$ $g$ $t$ $g$ $t$ $\theta_0$ $\rho$ є опуклим або зростаючим, але, можливо, якщо ви обмежите теорему Гауссовими розподілами і матиме форму, яку ви задаєте, ви зможете отримати ще більш акуратний набір умов. Я перепишу їх теорему тут для повноти, трохи перефразовуючи: $g$

Припустимо, у нас є

iid від розподілу $Y,Y_{1},Y_{2},\ldots$ $F$
Параметр інтересу $\theta_{0}=\theta(F)\in\cal{R}^{p}$
$\theta_{0}\in\arg\min_{t\in\cal{R}^{p}}\mathbb{E} g(Y,t)$ $g(y,t)$ $t$
У нас є "слабке розширення" в навколо : для із середнім нулем під і для позитивно певної матриці . $g(y,t)$ $t$ $\theta_{0}$ $g (y, θ_{0} + t) - g (y, θ_{0}) = D (y)^{T} t + R (y, t),$ $g(y,\theta_{0}+t)-g(y,\theta_{0})=D(y)^{T}t+R(y,t),$ $D(y)$ $F$ $E R (Y, t) = \frac{1}{2} t^{T} J t + o ({| t |}^{2}), as t \to 0$ $\mathbb{E} R(Y,t)=\frac{1}{2}t^{T}Jt+o(\left|t\right|^{2}),\mbox{ as }t\to0$ $J$
$\mbox{Var}[ R(Y,t) ]=o(\left|t\right|^{2})$ як . $t\to0$
$D(Y)$ має кінцеву матрицю коваріації . $K=\int D(y)D(y)^{T}\, dF(y)$

ТАКОЖ будь-який оцінювач є -послідовний для , і асимптотично нормальний з $\hat{\theta}_{n}\in\arg\min_{\theta\in\cal{R}^{p}}\sum_{i=1}^{n}g(Y_{i},t)$ $\sqrt{n}$ $\theta_{0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \overset{d}{\to} N_{p} (0, J^{- 1} K J^{- 1}) .

$\sqrt{n}\left(\hat{\theta}_{n}-\theta_{0}\right)\stackrel{d}{\rightarrow}\mathcal{N}_{p}(0,J^{-1} K J^{-1}).$

— DavidR
джерело

0

Це не буде відповіддю, оскільки це зменшить вашу проблему до іншої, але я думаю, це може бути корисним. Ваше питання в основному стосується послідовності M-оцінювача. Тож спочатку ми можемо переглянути загальні результати. Ось результат із книги Ван дер Ваар (теорема 5.7, стор. 45):

Теорема Нехай - випадкові функції, а - фіксована функція така, що для кожного $M_n$ $M$ $\theta$ $\varepsilon>0$

sup_{θ \in Θ} | M_{n} (θ) - M (θ) | \overset{P}{\to} 0,

$\sup_{\theta\in\Theta}|M_n(\theta)-M(\theta)|\xrightarrow{P}0,$

sup_{θ : d (θ, θ_{0}) \geq ε} M (θ) < M (θ_{0}) .

$\sup_{\theta:d(\theta,\theta_0)\ge\varepsilon} M(\theta)<M(\theta_0).$

Тоді будь-яка послідовність оцінювачів з вірогідно сходить до $\hat\theta_n$ $M_n(\hat\theta_n)\ge M_n(\theta_0)-o_P(1)$ $\theta_0$

У вашому випадку , і $\theta_0=\mu$ $M(\theta)=E\rho(|X-\theta|)$ $M_n(\theta)=\frac{1}{n}\sum \rho(|X_i-\theta|)$

Ключовою умовою тут є рівномірна конвергенція. На сторінці 46 сказано ван дер Ваарт

що для середніх показників у вашому випадку ця умова еквівалентна набору функцій ( у вашому випадку) будучи Глівенко -Кантелі . Один простий набір достатніх умов полягає в тому, що буде компактним, що функції є безперервними для кожного , і що> в них переважає інтегрується функція. $\{m_\theta, \theta\in\Theta\}$ $m_\theta=\rho(|x-\theta|)$ $\Theta$ $\theta\to m_\theta(x)$ $x$

У Вулдріджі цей результат формулюється як теорема під назвою Уніфікований слабкий закон великих чисел, стор. 347 (перша редакція), теорема 12.1. Це лише додає вимог до вимірності до того, що заявляється ван дер Ваартом.

У вашому випадку ви можете сміливо вибрати для деякого , тому вам потрібно показати, що існує функція така, що $\Theta=[\mu-C,\mu+C]$ $C$ $b$

| ρ (| x - θ |) | \leq b (x)

$|\rho(|x-\theta|)|\le b(x)$

для всіх , так що . Тут може допомогти теорія опуклості функцій, оскільки ви можете взяти основу $\theta\in\Theta$ $Eb(X)<\infty$

b (x) = sup_{θ \in Θ} | ρ (| x - θ |) | .

$b(x)=\sup_{\theta\in\Theta}|\rho(|x-\theta|)|.$

Якщо ця функція має приємні властивості, тоді вам добре піти.

— mpiktas
джерело