Визначення справжньої середньої величини з галасливих спостережень

У мене великий набір точок даних форми (середній, stdev). Я хочу звести це до одиничного (кращого) значення та (сподіваюся) меншого стандартного відхилення.

Зрозуміло, що я міг просто обчислити , однак це не враховує той факт, що деякі точки даних є значно точнішими, ніж інші. $\frac{\sum data_{mean}}{N}$

Простіше кажучи, я хочу заздалегідь скласти середньозважене значення цих точок даних, але не знаю, якою має бути функція зважування щодо стандартного відхилення.

normal-distribution repeated-measures weighted-mean

— Майкл
джерело

Ви шукаєте лінійний оцінювач для середнього $\mu$ форми

\hat{μ} = \sum_{i = 1}^{n} α_{i} x_{i}

$\hat{\mu} = \sum_{i=1}^{n} \alpha_i x_i$

де - ваги, а - спостереження. Мета - знайти відповідні значення для ваг. Нехай - справжнє стандартне відхилення , яке може або не збігається з розрахунковим стандартним відхиленням, яке ви, ймовірно, маєте. Припустимо, що спостереження є неупередженими; тобто всі їхні очікування рівні середньому . У цих умовах ми можемо обчислити, що очікування є $\alpha_i$ $x_i$ $\sigma_i$ $x_i$ $\mu$ $\hat{\mu}$

E [\hat{μ}] = \sum_{i = 1}^{n} α_{i} E [x_{i}] = μ \sum_{i = 1}^{n} α_{i}

$\mathbb{E}[\hat{\mu}] = \sum_{i=1}^{n} \alpha_i \mathbb{E}[x_i] = \mu \sum_{i=1}^{n} \alpha_i$

і (за умови, що некорельовані), дисперсія цього оцінювача є $x_i$

Var [\hat{μ}] = \sum_{i = 1}^{n} α_{i}^{2} σ_{i}^{2} .

$\operatorname{Var}\left[\hat{\mu}\right] = \sum_{i=1}^{n} \alpha_i^2 \sigma_i^2.$

У цей момент багато людей вимагають, щоб оцінювач не був об'єктивним; тобто ми хочемо, щоб його очікування дорівнювало справжньому середньому. Це означає, що ваги повинні дорівнювати одиниці. З урахуванням цього обмеження точність оцінювача (вимірюється середньоквадратичною помилкою) оптимізується за рахунок мінімізації дисперсії. Унікальне рішення (легко отримується за допомогою множника Лагранжа або шляхом повторної інтерпретації геометрично ситуації як проблема мінімізації відстані) полягає в тому, що ваги повинні бути пропорційними . $\alpha_i$ $1/\sigma_i^2$ Обмеження суми до єдності зменшує їх значення, поступаючись

\hat{μ} = \frac{\sum_{i = 1}^{n} x_{i} / σ_{i}^{2}}{\sum_{i = 1}^{n} 1 / σ_{i}^{2}}

$\hat{\mu} = \frac{\sum_{i=1}^{n} x_i / \sigma_i^2}{\sum_{i=1}^{n} 1 / \sigma_i^2}$

Var [\hat{μ}] = \frac{1}{\sum_{i = 1}^{n} 1 / σ_{i}^{2}} = \frac{1}{n} {(\frac{1}{n} \sum_{i = 1}^{n} \frac{1}{σ_{i}^{2}})}^{- 1} .

$\operatorname{Var}\left[\hat\mu\right] = \frac{1}{\sum_{i=1}^{n} 1 / \sigma_i^2} = \frac{1}{n} \left(\frac{1}{n} \sum_{i=1}^n \frac{1}{\sigma_i^2}\right)^{-1}.$

Словом,

мінімальний дисперсійний неупереджений оцінювач середнього значення отримується, роблячи ваги, оберненими пропорційними дисперсіям; дисперсія цього оцінника в разів перевищує середню гармоніку дисперсій. $1/n$

Зазвичай ми не знаємо справжніх варіацій . Ми можемо зробити те, що ваги обернено пропорційні передбачуваним відхиленням (квадрати ваших стандартних відхилень) і довіряйте, що це буде добре працювати. $\sigma_i$

— дзижчати
джерело

і пов’язана з цією відповіддю, також від whuber: stats.stackexchange.com/questions/9071/…

— Генрі

Що буде, якщо ми не «Припустимо, що спостереження є неупередженими»? З цим твердженням ви говорите, що якщо до спостереження додати нескінченні випадкові індивідуальні вимірювання, ми отримаємо середнє мю?

x_{i}

$x_i$

— користувач1420303