У яких налаштуваннях довірчі інтервали не покращаться, оскільки розмір вибірки збільшується?

У публікації в блозі я знайшов твердження, що

"Я вважаю, що WG Cochrane вперше зазначив (приблизно в 1970-х роках), що з довірчими інтервалами в умовах спостереження невеликі розміри вибірки призводять до кращого покриття достатньо великими зразками, що забезпечують майже нульове покриття!"

Тепер я припускаю, що ширина CI повинна наближатися до 0 із збільшенням розміру вибірки, але думка про те, що охоплення одночасно погіршиться, для мене не переконлива. Чи правдива ця претензія і за яких обставин? Або я його неправильно читаю?

Я запустив моделювання, використовуючи випадкові нормально розподілені дані з розмірами вибірки від 10000 до 1000000 (одноразовий t-тест, 95% ДІ), 1000 працює на кожен розмір вибірки, і покриття не погіршилося для більш високих розмірів вибірки (натомість я знайшов очікувану майже постійну ~ 5% помилки).

Зверніть увагу на кваліфікацію "в умовах спостереження".

Перевіряючи контекст, з якого ви взяли цитату (підрядок коментарів, що вона є), схоже, що намір є "в реальному світі", а не в симуляціях, і, ймовірно, не включає контрольований експеримент. і в цьому випадку ймовірний намір є наслідком того, що припущення, за якими виводяться інтервали, насправді не відповідають дійсності. Існує чимало речей, які можуть впливати на зміщення - які мають невеликий ефект порівняно зі змінними в невеликих зразках - але вони, як правило, не зменшуються в міру збільшення розміру вибірки, в той час як стандартні помилки роблять.

Оскільки наші розрахунки не враховують зміщення, оскільки інтервали скорочуються (як ), будь-які незмінні зміщення, навіть якщо це досить малі верстати, збільшуються, залишаючи наші інтервали все менше і менше ймовірності включати справжнє значення.$1/\sqrt n$

Ось ілюстрація - яка, можливо, перебільшує упередженість, - щоб вказати на те, що, на мій погляд, мається на увазі щодо ймовірності покриття ІП зменшується у міру збільшення розміру вибірки:

Звичайно, у будь-якому конкретному зразку інтервал буде випадковим - він буде ширшим або вужчим і зміщується вліво або вправо відносно діаграми, так що при будь-якому розмірі вибірки є деяка ймовірність покриття між 0 і 1, але будь-яка кількість зміщення зробить його скороченням до нуля в міру збільшення . Ось приклад зі 100 довірчими інтервалами для кожного розміру вибірки з використанням імітованих даних (накреслені прозорістю, тому колір більш солідний там, де його охоплює більше інтервалів):$n$

Солодка іронія. Перед цим абзацом та сама людина каже: "Недарма існує така поширена плутанина". "Інтервали довіри в умовах спостереження": що це навіть означає?

Мені здається, що це ще раз плутанина між оцінкою та тестуванням гіпотез .

Тепер я знаю, що ширина CI повинна наближатися до 1 із збільшенням розміру вибірки.

Ні, це залежить від контексту. В принципі, ширина повинна збігатися до . Покриття повинно бути близьким до номінального значення для великої кількості моделей Монте-Карло. Покриття не залежить від розміру вибірки, якщо тільки деякі припущення, під якими було побудовано ІС, є хибними (що, можливо, те, що означало ОП. "Усі моделі помиляються", так.)$0$

Довідка - це коментар у дописі особистого блогу . Я не надто хвилювався б за обгрунтованість такого роду посилань. Блог, що належить Ларрі Вассерману, як правило, дуже добре написаний з іншого боку. Це нагадало мені про комікс xkcd:

http://xkcd.com/386/