Чим відрізняється послідовний оцінювач від об'єктивного оцінювача?

125

Я дуже здивований, що ніхто, здається, вже не питав цього ...

Під час обговорення оцінок два терміни, які часто використовуються, є "послідовними" та "неупередженими". Моє запитання просте: в чому різниця?

Точні технічні визначення цих термінів досить складні, і важко зрозуміти, що вони означають . Я можу уявити собі хороший і поганий оцінювач, але у мене виникають труднощі бачити, як будь-який оцінювач може задовольнити одну умову, а не іншу.

unbiased-estimator estimators consistency

— Математична орхідея
джерело

Ви подивилися першу цифру статті Вікіпедії про послідовні оцінки , яка конкретно пояснює це відмінність?

— whuber

Я читав статті як про послідовність, так і за упередженість, але все ще не розумію відмінності. (Цифра, на яку ви посилаєтесь, стверджує, що оцінювач є послідовним, але упередженим, але не пояснює, чому .)

— MathematicalOrchid

З якою частиною пояснення вам потрібна допомога? У підписі вказується, що кожен з оцінювачів у послідовності є упередженим, а також пояснює, чому послідовність послідовна. Вам потрібне пояснення, як упередженість цих оцінювачів видно з рисунка?

— whuber

+1 Нитка коментарів після однієї з цих відповідей дуже висвітлює як те, що вона розкриває про тему, так і як цікавий приклад того, як інтернет-спільнота може працювати над викриттям та виправленням помилок.

— whuber

Пов’язано: stats.stackexchange.com/questions/173152/…

— b halvorsen

Відповіді:

126

Щоб визначити два терміни, не використовуючи занадто багато технічної мови:

Оцінювач є послідовним, якщо в міру збільшення розміру вибірки оцінки (вироблені оцінкою) "збігаються" до справжнього значення параметра, що оцінюється. Якщо бути більш точним - узгодженість означає, що зі збільшенням обсягу вибірки розподіл вибірки оцінювача стає все більш сконцентрованим на справжньому значенні параметра.
Оцінювач є неупередженим, якщо він в середньому досягає істинного значення параметра. Тобто, середнє значення розподілу вибірки оцінювача дорівнює справжньому значенню параметра.
Два не є рівнозначними: Незаангажованість - це твердження про очікувану величину розподілу вибірки оцінювача. Послідовність - це твердження про те, "де відбувається розподіл вибірки оцінювача" у міру збільшення розміру вибірки.

Звичайно, одна умова може бути виконана, але не інша - я наведу два приклади. Для обох прикладів розглянемо зразок з сукупності. $X_1, ..., X_n$ $N(\mu, \sigma^2)$

Незаангажована, але не послідовна. Припустимо, ви оцінюєте . Тоді є неупередженим оцінювачем оскільки . Але не є послідовним, оскільки його розподіл не стає більш концентрованим навколо оскільки розмір вибірки збільшується - це завжди ! $\mu$ $X_1$ $\mu$ $E(X_1) = \mu$ $X_1$ $\mu$ $N(\mu, \sigma^2)$
Послідовна, але не об'єктивна: Припустимо, ви оцінюєте . Максимальна оцінка ймовірності - де - середня вибірка. Фактом є, що , який можна отримати, використовуючи тут інформацію . Тому є упередженим для будь-якого кінцевого розміру вибірки. Ми також можемо легко отримати, що З цих фактів ми можемо неофіційно бачити, що розподіл $\sigma^2$
${\hat{σ}}^{2} = \frac{1}{н} \sum_{i = 1}^{н} (Х_{i} - \bar{Х})^{2}$ $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ $\overline{X}$ $Е ({\hat{σ}}^{2}) = \frac{н - 1}{н} σ^{2}$ $E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2$ $\hat{\sigma}^2$ $\hat{\sigma}^2$ $v а r ({\hat{σ}}^{2}) = \frac{2 σ^{4} (н - 1)}{н^{2}}$ ${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$ $\hat{\sigma}^2$ стає все більш концентрованою при оскільки розмір вибірки збільшується, оскільки середня величина сходить до а дисперсія конвергується до . ( Примітка. Це дійсно є підтвердженням послідовності, використовуючи той же аргумент, як той, що використовується у відповіді тут ) $\sigma^2$ $\sigma^2$ $0$

— Макрос
джерело

(+1) Не всі MLE послідовні, хоча загальний результат полягає в тому, що існує послідовна послідовність у послідовності MLE. Для належної узгодженості необхідні кілька додаткових вимог, наприклад, ідентифікація. Приклади MLE, які не є послідовними, знаходимо в певних моделях помилок у змінних (де "максимум" виявляється сідловим).

— MånsT

Що ж, MLE EIV, про які я згадував, - це, мабуть, не добрі приклади, оскільки функція ймовірності не обмежена і максимум не існує. Вони є хорошими прикладами того, як підхід до ML може не вдатися :) Вибачте, що зараз не можу дати відповідне посилання - я у відпустці.

— MånsT

Дякую @ MånsT. У посиланні були окреслені необхідні умови, але це не було зрозуміло з формулювання.

— Макрос

Лише бічна примітка: Простір параметрів, безумовно, не є компактним у цьому випадку, на відміну від умов цього посилання, а також вірогідність журналу не увігнута wrt . Зазначений результат узгодженості, звичайно, зберігається.

σ^{2}

$\sigma^2$

— кардинал

Ти маєш рацію, @cardinal, я видалю це посилання. Досить зрозуміло, що та але я не хочу відхилятися від точка, перетворивши це на вправу доведення послідовності .

E ({\hat{σ}}^{2}) \to σ^{2}

$E(\hat{\sigma}^2) \rightarrow \sigma^2$

v a r ({\hat{σ}}^{2}) \to 0

${\rm var}(\hat{\sigma}^2) \rightarrow 0$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

— Макрос

Послідовність оцінювача означає, що в міру збільшення розміру вибірки оцінка стає все ближче і ближче до справжнього значення параметра. Незаангажованість - властивість кінцевої вибірки, на яку не впливає збільшення розміру вибірки. Оцінка є неупередженою, якщо її очікуване значення дорівнює справжньому значенню параметра. Це буде справедливо для всіх розмірів вибірки і є точним, тоді як консистенція асимптотична і лише приблизно однакова, а не точна.

Сказати, що оцінювач є неупередженим, означає, що якщо ви брали багато зразків розміром і обчислювали оцінку кожного разу, коли середнє значення всіх цих оцінок буде наближене до справжнього значення параметра і наблизиться, оскільки кількість разів ви зробите це . Середня вибірка є одночасно послідовною та неупередженою. Вибірка оцінки стандартного відхилення є упередженою, але послідовною. $n$

Оновіть після обговорення в коментарях з @cardinal та @Macro: Як описано нижче, мабуть, патологічні випадки, коли дисперсія не повинна переходити до 0, щоб оцінювач був суто послідовним, і упередженість навіть не повинна йти до 0.

— Майкл Черник
джерело

@MichaelChernick +1 для вашої відповіді, але, щодо вашого коментаря, відхилення послідовного оцінювача не обов'язково переходить до . Наприклад, якщо є вибіркою з , , то - (сильний) послідовний оцінювач , але , для всіх .

0

$0$

(X_{1}, . . ., X_{n})

$(X_1,...,X_n)$

Normal (μ, 1)

$\mbox{Normal}(\mu,1)$

μ \neq 0

$\mu\neq 0$

1 / \bar{X}

$1/{\bar X}$

1 / μ

$1/\mu$

var (1 / \bar{X}) = \infty

$\mbox{var}(1/{\bar X})=\infty$

n

$n$

@Procrastinator: (+2) Ухил не повинен зменшуватися до нуля, навіть коли середнє значення існує для кожного

n

$n$

— кардинала

Майкл, тіло вашої відповіді досить добре; Я думаю, що плутанина була внесена вашим першим коментарем, який призводить до двох тверджень, які є явно помилковими та потенційними мотивами плутанини. (Дійсно, багато студентів відходять від вступного класу випускників статистики саме з цими помилками через слабке розмежування між різними режимами конвергенції та їх значенням. Ваш останній коментар може вважати трохи суворим.)

— кардинал

На жаль, перші два речення у вашому першому коментарі та весь другий коментар помилкові. Але я побоююсь, що надалі намагатись переконати вас у цих фактах не є плідним.

— кардинал

Ось, безумовно, абсурдний, але простий приклад. Ідея полягає в тому, щоб проілюструвати , що саме може піти не так і чому. Це дійсно має практичне застосування. Приклад : Розглянемо типову модель iid з кінцевим другим моментом. Нехай де не залежить від а з вірогідністю і дорівнює нулю в іншому випадку, довільно . Тоді об'єктивний, має дисперсію , обмежену знизу на і

{\hat{θ}}_{n} = {\bar{X}}_{n} + Z_{n}

$\hat\theta_n = \bar X_n + Z_n$

Z_{n}

$Z_n$

{\bar{X}}_{n}

$\bar X_n$

Z_{n} = \pm a n

$Z_n = \pm a n$

1 / n^{2}

$1/n^2$

a > 0

$a > 0$

{\hat{θ}}_{n}

$\hat\theta_n$

a^{2}

$a^2$

{\hat{θ}}_{n} \to μ

$\hat\theta_n \to \mu$ майже напевно (сильно послідовно). Я залишаю як вправу справу щодо упередженості.

— кардинал

-5

Послідовність: дуже добре пояснюється раніше [у міру збільшення розміру вибірки, оцінки (вироблені оцінювачем) "сходяться" до справжнього значення параметра, що оцінюється]

Незаангажованість: вона задовольняє припущенням MLR 1-5, відомим як теорема Гаусса-Маркова

лінійність,
випадкова вибірка
нульове умовне середнє очікування помилок
немає ідеальної колінеарності
гомоскедастичність

Тоді кажуть, що ОЦІННИК є БІЛЬКИМ (найкращий лінійний неупереджений оцінювач)

— Ніколіна Лангра
джерело