Очікуване значення медіани вибірки з урахуванням середньої вибірки


16

Нехай YY позначає медіану, а ˉ XX¯ позначає середнє значення випадкової вибірки розміром n = 2 k + 1n=2k+1 з розподілу, який дорівнює N ( μ , σ 2 )N(μ,σ2) . Як я можу обчислити ? E ( Y | ˉ X = ˉ x )E(Y|X¯=x¯)

Інтуїтивно, через припущення про нормальність, є сенс стверджувати, що і справді це правильна відповідь. Чи можна це показати суворо?E ( Y | ˉ X = ˉ x ) = ˉ xE(Y|X¯=x¯)=x¯

Моя початкова думка полягала в тому, щоб підійти до цієї проблеми, використовуючи умовний нормальний розподіл, який, як правило, відомий результат. Проблема полягає в тому, що оскільки я не знаю очікуваного значення і, отже, дисперсії медіани, мені доведеться обчислити тих, хто використовує статистику го порядку. Але це дуже складно, і я не хотів би туди їхати, якщо мені абсолютно не доведеться. k + 1k+1


2
Я вважаю, що це безпосередній наслідок узагальнення, яке я щойно опублікував на сайті stats.stackexchange.com/a/83887 . Розподіл залишків x i - ˉ xxix¯ однозначно симетричний приблизно 00 , звідки їх медіана має симетричний розподіл, тому його середнє значення дорівнює нулю. Тому очікування медіани (не лише залишків) дорівнює 0 + E ( ˉ X | ˉ X = ˉ x ) = ˉ x  0+E(X¯ | X¯=x¯)=x¯ , QED.
whuber

@whuber Вибачте, залишки?
ДжонК

Я визначив їх у своєму коментарі: вони є різницею між кожним x ixi та їх середньою.
whuber

@whuber Ні, я не розумію, але я все ще працюю над розумінням того, як ваша інша відповідь стосується мого запитання і як саме працює очікування, яке ви використовували.
ДжонК

2
@whuber Добре, тоді виправте мене. Якщо я помиляюся, E ( Y | ˉ X ) = E ( ˉ X | ˉ X ) + E ( Y - ˉ X | ˉ X )E(Y|X¯)=E(X¯|X¯)+E(YX¯|X¯) І тепер другий додаток дорівнює нулю, оскільки медіана симетрична навколо ˉ xx¯ . Тому очікування зменшується до ˉ xx¯
JohnK

Відповіді:


7

Нехай XX позначимо вихідний зразок і ZZ випадковий вектор з елементами Z K = X до - ˙ XZk=XkX¯ . Тоді ZZ нормально центрований (але його записи не є незалежними, як видно з того, що їх сума дорівнює нулю з повною вірогідністю). Як лінійний функціонал XX , вектор ( Z , ˉ X )(Z,X¯) є нормальним , отже , обчислення його ковариационной матриці досить показати , що ZZ не залежить від ˙ XX¯ .

Звертаючись до YY , можна бачити , що Y = ˉ Х + ТY=X¯+T , де ТT є медіаною ZZ . Зокрема, TT залежить від Z,Z отже, TT не залежить від ˉ XX¯ , а розподіл ZZ є симетричним, отже, TT зосереджено.

І, нарешті, Е ( У | ˉ Х ) = ˉ Х + Е ( Т | ˉ Х ) = ˉ Х + Е ( Т ) = ˉ Х .

E(YX¯)=X¯+E(TX¯)=X¯+E(T)=X¯.

Дякую, це було запитано майже рік тому, і я дуже радий, що хтось нарешті це очистив.
ДжонК

7

The sample median is an order statistic and has a non-normal distribution, so the joint finite-sample distribution of sample median and sample mean (which has a normal distribution) would not be bivariate normal. Resorting to approximations, asymptotically the following holds (see my answer here):

n[(ˉXnYn)(μv)]LN[(00),Σ]

n[(X¯nYn)(μv)]LN[(00),Σ]

with

Σ=(σ2E(|Xv|)[2f(v)]1E(|Xv|)[2f(v)]1[2f(v)]2)

Σ=(σ2E(|Xv|)[2f(v)]1E(|Xv|)[2f(v)]1[2f(v)]2)

where ˉXnX¯n is the sample mean and μμ the population mean, YnYn is the sample median and vv the population median, f()f() is the probability density of the random variables involved and σ2σ2 is the variance.

So approximately for large samples, their joint distribution is bivariate normal, so we have that

E(YnˉXn=ˉx)=v+ρσvσˉX(ˉxμ)

E(YnX¯n=x¯)=v+ρσvσX¯(x¯μ)

where ρρ is the correlation coefficient.

Manipulating the asymptotic distribution to become the approximate large-sample joint distribution of sample mean and sample median (and not of the standardized quantities), we have ρ=1nE(|Xv|)[2f(v)]11nσ[2f(v)]1=E(|Xv|)σ

ρ=1nE(|Xv|)[2f(v)]11nσ[2f(v)]1=E(|Xv|)σ

So E(YnˉXn=ˉx)=v+E(|Xv|)σ[2f(v)]1σ(ˉxμ)

E(YnX¯n=x¯)=v+E(|Xv|)σ[2f(v)]1σ(x¯μ)

We have that 2f(v)=2/σ2π2f(v)=2/σ2π due to the symmetry of the normal density so we arrive at

E(YnˉXn=ˉx)=v+π2E(|Xμσ|)(ˉxμ)

E(YnX¯n=x¯)=v+π2E(Xμσ)(x¯μ)

where we have used v=μv=μ. Now the standardized variable is a standard normal, so its absolute value is a half-normal distribution with expected value equal to 2/π2/π (since the underlying variance is unity). So

E(YnˉXn=ˉx)=v+π22π(ˉxμ)=v+ˉxμ=ˉx

E(YnX¯n=x¯)=v+π22π(x¯μ)=v+x¯μ=x¯

2
As always, nice answer +1. However, since we have no information about the sample size, the asymptotic distribution might not hold. If there is no way to obtain the exact distribution though, I suppose I'll have to make do. Thank you very much.
JohnK

6

The answer is ˉxx¯.

Let x=(x1,x2,,xn)x=(x1,x2,,xn) have a multivariate distribution FF for which all the marginals are symmetric about a common value μμ. (It does not matter whether they are independent or even are identically distributed.) Define ˉxx¯ to be the arithmetic mean of the xi,xi, ˉx=(x1+x2++xn)/nx¯=(x1+x2++xn)/n and write xˉx=(x1ˉx,x2ˉx,,xnˉx)xx¯=(x1x¯,x2x¯,,xnx¯) for the vector of residuals. The symmetry assumption on FF implies the distribution of xˉxxx¯ is symmetric about 00; that is, when ERnERn is any event,

PrF(xˉxE)=PrF(xˉxE).

PrF(xx¯E)=PrF(xx¯E).

Applying the generalized result at /stats//a/83887 shows that the median of xˉxxx¯ has a symmetric distribution about 00. Assuming its expectation exists (which is certainly the case when the marginal distributions of the xixi are Normal), that expectation has to be 00 (because the symmetry implies it equals its own negative).

Now since subtracting the same value ˉxx¯ from each of a set of values does not change their order, YY (the median of the xixi) equals ˉxx¯ plus the median of xˉxxx¯. Consequently its expectation conditional on ˉxx¯ equals the expectation of xˉxxx¯ conditional on ˉx, plus E(ˉx | ˉx). The latter obviously is ˉx whereas the former is 0 because the unconditional expectation is 0. Their sum is ˉx, QED.


Thank you for posting it as a full answer. I now understand the essence of your argument but I might ping you if something is still unclear.
JohnK

5
JohnK, I need to alert you to be cautious. A counterexample to this argument has been brought to my attention. I have encouraged its originator to post it here for further discussion, but briefly it concerns a discrete bivariate distribution with symmetric marginals but asymmetric conditional marginals. Its existence points to a flawed deduction early in my argument. I currently hope that the argument might be rescued by imposing stronger conditions on the xi, but my attention is presently focused elsewhere and I might not get to think about this for awhile.
whuber

4
In the meantime I would encourage you to unaccept this answer. I would ordinarily delete any answer of mine known to be incorrect, but (as you might be able to tell) I like solutions based on first principles rather than detailed calculations, so I hope this argument can be rescued. I therefore intend to leave it open for criticism and improvement (and therefore made it CW); let the votes fall as they may.
whuber

Of course, thanks for letting me know. We will discuss it further when you have time. In the meantime I will settle for the asymptotic argument proposed by @Alecos Papadopoulos.
JohnK

6

This is simpler than the above answers make it. The sample mean is a complete and sufficient statistic (when the variance is known, but our results do not depend on the variance, hence will be valid also in the situation when the variance is unknown). Then the Rao-Blackwell together with the Lehmann-Scheffe theorems (see wikipedia ...) will imply that the conditional expectation of the median, given the arithmetic mean, is the unique minimum variance unbiased estimator of the expectation μ. But we know that is the arithmetic mean, hence the result follows.

We did also use that the median is an unbiased estimator, which follows from symmetry.


1
By symmetry E[Y]=μ, indeed. Then from these two theorems we know that E[Y|ˉX] is the Unique Minimum Variance Unbiased Estimator for μ which we already know to be equal to ˉX. This is a brilliant answer, thank you very much. I would have marked it as the correct one, had I not done that already for another answer.
JohnK
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.