Обчислення стандартної похибки в оцінці середньозваженого значення

Припустимо , що $w_1,w_2,\ldots,w_n$ і $x_1,x_2,...,x_n$ кожен звертається IID від деяких розподілів, з $w_i$ НЕ залежить від $x_i$ . $w_i$ строго позитивні. Ви спостерігаєте всі $w_i$ , але не $x_i$ ; швидше ви спостерігаєте $\sum_i x_i w_i$ . Мені цікаво оцінити $\operatorname{E}\left[x\right]$ з цієї інформації. Очевидно оцінювач є неупередженим, і його можна обчислити за наявної інформації.

\bar{x} = \frac{\sum_{i} w_{i} x_{i}}{\sum_{i} w_{i}}

$\bar{x} = \frac{\sum_i w_i x_i}{\sum_i w_i}$

Як я можу обчислити стандартну помилку цього оцінювача? У випадку, коли приймає лише значення 0 і 1, я наївно намагався $x_i$ основному ігноруючи мінливість в, але виявив, що це погано для розмірів вибірки, менших приблизно від 250. (І це, мабуть, залежить від дисперсії.). Здається, що, можливо, я не має достатньо інформації, щоб обчислити «кращу» стандартну помилку.

s e \approx \frac{\sqrt{\bar{x} (1 - \bar{x}) \sum_{i} w_{i}^{2}}}{\sum_{i} w_{i}},

$se \approx \frac{\sqrt{\bar{x}(1-\bar{x})\sum_i w_i^2}}{\sum_i w_i},$

w_{i}

$w_i$

w_{i}

$w_i$

standard-error weighted-mean

— шабчеф
джерело

Відповіді:

Нещодавно я зіткнувся з тим же питанням. Далі я знайшов:

На відміну від простої випадкової вибірки з рівними вагами, немає широко прийнятого визначення стандартної похибки зваженого середнього. У ці дні було б прямо зараз зробити завантажувальну програму та отримати емпіричний розподіл середнього значення, і виходячи з цієї оцінки стандартної помилки.

Що робити, якщо хтось хотів використати формулу для цієї оцінки?

Основним посиланням є цей документ Дональда Ф. Гатца та Лютера Сміта, де 3 оцінювачі на основі формули порівнюються з результатами завантаження. Найкраще наближення до результату завантаження приходить від Cochran (1977):

$(SEM_w)^2={\dfrac{n}{(n-1)(\sum {P_i})^2}}[\sum (P_i X_i-\bar{P}\bar{X}_w)^2-2 \bar{X}_w \sum (P_i-\bar{P})(P_i X_i-\bar{P}\bar{X}_w)+\bar{X}^2_w \sum (P_i-\bar{P})^2]$

Далі - відповідний R-код, що надійшов із цього потоку R listserve .

weighted.var.se <- function(x, w, na.rm=FALSE)
#  Computes the variance of a weighted mean following Cochran 1977 definition
{
  if (na.rm) { w <- w[i <- !is.na(x)]; x <- x[i] }
  n = length(w)
  xWbar = weighted.mean(x,w,na.rm=na.rm)
  wbar = mean(w)
  out = n/((n-1)*sum(w)^2)*(sum((w*x-wbar*xWbar)^2)-2*xWbar*sum((w-wbar)*(w*x-wbar*xWbar))+xWbar^2*sum((w-wbar)^2))
  return(out)
}

Сподіваюся, це допомагає!

— Мін К
джерело

Це досить круто, але для моєї проблеми я навіть не спостерігаю

, швидше спостерігаю суму

. Моє запитання дуже дивне, оскільки воно передбачає деяку інформаційну асиметрію (третя сторона повідомляє про суму та намагається приховати якусь інформацію).

P_{i} X_{i}

$P_iX_i$

\sum_{i} P_{i} X_{i}

$\sum_i P_iX_i$

— shabbychef

w_{i}

$w_i$

n

$n$

@Ming-ChihKao this cochran formula is interesting but if you build a confidence interval off this when the data is not normal there is no consistent interpretation correct? How would you handle non-normal weighted average mean confidence intervals? Weighted quantiles?

— user3022875

Я думаю, що з функцією є помилка. Якщо ви підставляєте w=rep(1, length(x)), то weighted.var.se(rnorm(50), rep(1, 50))про 0.014. Я думаю, що формулі відсутня а sum(w^2)в чисельнику, оскільки коли P=1, дисперсія є 1/(n*(n-1)) * sum((x-xbar)^2). Я не можу перевірити цитовану статтю, оскільки вона стоїть за платною стіною, але я думаю, що це виправлення. Як не дивно, рішення Вікіпедії (інше) стає виродженим, коли всі ваги рівні: en.wikipedia.org/wiki/… .

— Макс Кандоція

Вони можуть працювати краще взагалі: analyticalgroup.com/download/WEIGHTED_MEAN.pdf

— Макс Candocia

Варіантність вашої оцінки з урахуванням $w_i$ є

\frac{\sum ш_{i}^{2} V а r (Х)}{(\sum ш_{i})^{2}} = V а r (Х) \frac{\sum ш_{i}^{2}}{(\sum ш_{i})^{2}} .

$\frac{\sum w_i^2 Var(X)}{(\sum w_i)^2} = Var(X) \frac{\sum w_i^2 }{(\sum w_i)^2}.$ Тому що ваша оцінка є неупередженою для будь-якої

w_{i}

$w_i$ , дисперсія його умовного середнього дорівнює нулю. Отже, дисперсія вашої оцінки

V а r (Х) Е (\frac{\sum ш_{i}^{2}}{(\sum ш_{i})^{2}})

$Var(X) \mathbb{E}\left(\frac{\sum w_i^2 }{(\sum w_i)^2}\right)$ Зважаючи на всі спостережувані дані, це було б легко емпірично оцінити. Але лише мірою розташування

X_{i}

$X_i$ спостерігається, а не їх поширення, я не бачу, як можна буде отримати оцінку

V a r (X)

$Var(X)$ , не роблячи досить серйозних припущень.

— гість
джерело

принаймні у конкретному випадку, де

x_{i}

$x_i$ have a Bernoulli distribution I can estimate the variance of

x

$x$ by

\bar{x} (1 - \bar{x})

$\bar{x}(1-\bar{x})$ as noted above. Even in this case, as noted in the question, I need a larger sample size than I would have expected.

— shabbychef