Незаангажована оцінка медіани

Припустимо, що у нас підтримується випадкова величина з якої ми можемо робити вибірки. Як ми можемо придумати неупереджену оцінку медіани ? $X$ $[0,1]$ $X$

Ми, звичайно, можемо генерувати деякі зразки та брати медіану вибірки, але я розумію, що це взагалі не буде об'єктивним.

Примітка: це питання пов'язане, але не тотожне моєму останньому запитанню , і в цьому випадку $X$ можна було вибірково лише приблизно.

sampling

— Робінзон
джерело

Відповіді:

Такого оцінника не існує.

Інтуїція полягає в тому, що медіана може залишатися фіксованою, поки ми вільно зміщуємо щільність ймовірностей навколо обох її сторін, так що будь-який оцінювач, середнє значення якого є медіаною для одного розподілу, матиме різне середнє для зміненого розподілу, що робить його упередженим. Наступна експозиція дає трохи більше суворості цій інтуїції.

Ми зосереджені на розподіл $F$ , що має унікальні медіани $m$ , так що за визначенням $F(m) \ge 1/2$ і $F(x) \lt 1/2$ для всіх $x \lt m$ . Зафіксуйте розмір вибірки $n \ge 1$ і припустимо, що $t: [0,1]^n \to [0,1]$ оцінює $m$ . (Досить буде $t$ лише обмежений, але зазвичай не варто серйозно розглянути оцінки, які дають очевидно неможливі значення.) Ми не робимо припущень щодо ; це навіть не повинно бути безперервним нікуди. $t$

Сенс неупередженості (для цього фіксованого розміру вибірки) полягає в тому $t$

E F [t (X 1, \dots, X n)] = m

$E_F[t(X_1, \ldots, X_n)] = m$

для будь-якого н.о.р. зразка з . «Несмещенная оцінка» є один з цією властивістю для всіх таких . $X_i \sim F$ $t$ $F$

Припустимо, існує неупереджений оцінювач. Ми виведемо протиріччя, застосувавши його до особливо простого набору розподілів. Розглянемо розподіли мають ці властивості: $F = F_{x,y,m, \varepsilon}$

; $0 \le x \lt y \le 1$
; $0 \lt \varepsilon \lt (y-x)/4$
; $x + \varepsilon \lt m \lt y - \varepsilon$
; $\Pr(X = x) = \Pr(X = y) = (1-\varepsilon)/2$
; і $\Pr(m-\varepsilon \le X \le m+\varepsilon) = \varepsilon$
рівномірний на . $F$ $[m-\varepsilon, m+\varepsilon]$

Ці розподіли розміщують ймовірність на кожному з і і невелику кількість ймовірностей, симетрично розміщених навколо між і . Це робить унікальний медіану . (Якщо ви стурбовані тим, що це не безперервний розподіл, зв’яжіть його з дуже вузьким гауссом і обріжте результат до : аргумент не зміниться.) $(1-\varepsilon)/2$ $x$ $y$ $m$ $x$ $y$ $m$ $F$ $[0,1]$

Тепер, для будь-якого передбачуваних медіанний оцінок , його можна легко оцінка показує , що строго в межах від середньої величини значень де змінюється в усіх можливих комбінаціях і . Однак ми можемо змінювати $t$ $E[t(X_1, X_2, \ldots, X_n)]$ $\varepsilon$ $2^n$ $t(x_1, x_2, \ldots, x_n)$ $x_i$ $x$ $y$ $m$ між і , зміна щонайменше (в силу умов 2 і 3). Таким чином, існує , і звідки відповідний розподіл , для якого це очікування не дорівнює медіані, QED. $x + \varepsilon$ $y - \varepsilon$ $\varepsilon$ $m$ $F_{x,y,m,\varepsilon}$

— дзижчати
джерело

(+1) Nice proof. Did you come up with it, or is it something you remembered from the grad school?

— StasK

Here is another proof: Most Bernoulli random variables have median

0 $0$ or

1 $1$ . The estimate from

n $n$ trials depends only on the average values of the estimator on the vertices of

[0,1]n $[0,1]^n$ with

k $k$ , and the weights of these average values is a polynomial in

p $p$ of degree

n $n$ . If this is an unbiased estimator, it must have average value

1 $1$ for any

p>1/2 $p \gt 1/2$ , and there are more than

n+1 $n+1$ such values of

p $p$ , so this polynomial must be constant... but it must be

0 $0$ on lower values of

p $p$ , so it can't be unbiased there, too.

— Douglas Zare

@Douglas That's a great proof. I suspect some people might feel a little uneasy about the scope of its applicability, though, because the median for a Bernoulli variable is somewhat special, being coincident with one of its two support points (except when

p=1/2 $p=1/2$ ). Readers might be tempted to declare this as "pathological" and try to bar such monsters by looking only at continuous distributions with everywhere positive densities on their domains. That's why I took care to show that such efforts will fail.

— whuber

Finding an unbiased estimator without having a parametric model would be difficult! But you could use bootstrapping, and use that to correct the empirical median to get an approximately unbiased estimator.

— kjetil b halvorsen
джерело

If this is impossible, is it possible to prove it? For example, if

X1,X2,…,Xn $X_1, X_2, \ldots, X_n$ are independent samples from

X $X$ then can one prove that

f(X1,…,Xn) $f(X_1, \ldots, X_n)$ cannot be unbiased for any choice of

f $f$ ?

— robinson

I think kjetil is saying that in a nonparametric framework there is no method that will give an unbiased estimate for every possible distribution. But in the parametric framework you probably could. Bootstrapping a biased sample estimate can allow you to estimate the bias and adjust it to get a bootstrap estimate that is nearly unbiased. That was his suggestion for handling the problem in the nonparametric framework. Proving that an unbiased estimate is not possible would also be difficult.

— Michael R. Chernick

If you really want to try to prove that there do not exist an unbiased estimator, there is a book, Ferguson: "Mathematical Statistics - A Decision Theoretic Approach" which do have some examples of that kind of thing!

— kjetil b halvorsen

I imagine that the regularity conditions for the bootstrap will be violated with the distribution functions that whuber considers in his answer. Michael, can you comment?

— StasK

@Stas As I pointed out, my functions can be made to look very "nice" by mollifying them. They can also be generalized to mollifications of large finite mixtures of atoms. The class of such distributions is dense in all distributions on the unit interval, so I don't think bootstrap regularity would be involved here.

— whuber

I believe quantile regression will give you a consistent estimator of the median. Given the model $Y = \alpha + u$ . And you want to estimate $\text{med}(y) = \text{med}(\alpha + u) = \alpha + \text{med}(u)$ since $\alpha$ is a constant. All you need is the $\text{med}(u) = 0$ which should be true so long as you have independent draws. However, as far as unbiasedness, I don't know. Medians are difficult.

— Francis
джерело

See @whuber 's answer

— Peter Flom - Reinstate Monica