Я намагаюся довести, що спостережувана інформаційна матриця, оцінена за слабко послідовним оцінкою максимальної ймовірності (MLE), є слабко послідовним оцінником очікуваної інформаційної матриці. Це широко цитований результат, але ніхто не дає посилань чи доказів (я вичерпав, я думаю, перші 20 сторінок результатів Google і мої підручники з статистикою)!
Використовуючи слабко послідовну послідовність MLE, я можу використовувати слабкий закон великих чисел (WLLN) та теорему безперервного відображення, щоб отримати бажаний результат. Однак я вважаю, що теорему безперервного відображення неможливо використовувати. Натомість я думаю, що потрібно використовувати єдиний закон великих чисел (ULLN). Хтось знає про посилання, яке підтверджує це? У мене є спроба ULLN, але поки що пропустімо її для стислості.
Прошу вибачення за тривалість цього питання, але нотацію потрібно ввести. Позначення є нахабними (моє доказ в кінці).
Припустимо, у нас є iid вибірки випадкових величин { Y 1 , … , Y N }
I ( θ ) = - E θ [ H θ ( log f ( ˜ Y | θ ) ]
де H θ
I N ( θ ) = N ∑ i = 1 I y i ( θ ) ,
де I y i = - E θ [ H θ ( log f ( Y i | θ ) ] )
J ( θ ) = - H θ ( log f ( y | θ )
(Деякі люди вимагають матриця оцінюється в & thetas , але деякі цього не роблять). Вибірка спостережуваної інформаційної матриці становить;
J N ( θ ) = ∑ N i = 1 J y i ( θ )
де J y i ( θ ) = - H θ ( log f ( y i | θ )
Я можу довести збіжність за ймовірністю оцінювання N - 1 J N ( & thetas ; )
Тепер ( J Н ( & thetas ; ) ) г s = - Σ N я = 1 ( Н & thetas ; ( лог - е ( У я | & thetas ; ) ) г и
Any help on this would be greatly appreciated.