Симуляційне дослідження: як вибрати кількість ітерацій?

Я хотів би генерувати дані за допомогою "Моделі 1" та підходити до них "Модель 2". Основна ідея полягає у дослідженні властивостей міцності "Моделі 2". Мене особливо цікавить ступінь покриття 95% довірчого інтервалу (на основі нормального наближення).

• Як встановити кількість запусків ітерації?
• Чи правда, що більші, ніж необхідні, тиражі можуть призвести до помилкових упереджень? Якщо так, то як це?

Виходячи з подальшого коментаря, це здається, що ви намагаєтеся оцінити ймовірність покриття довірчого інтервалу, коли ви припускаєте постійну дисперсію помилок, коли справжня дисперсія помилок не є постійною.

Як я думаю про це, це те, що для кожного прогону інтервал довіри або покриває справжнє значення, або його немає. Визначте змінну індикатора:

Тоді ймовірність покриття, яке вас цікавить, - це яке ви можете оцінити за вибірковою часткою, яку, на мою думку, ви пропонуєте.$E(Y_i) = p$

Як встановити кількість запусків ітерації?

Ми знаємо, що дисперсія випробування Бернуллі дорівнює , і ваші симуляції будуть генерувати IID випробування Бернуллі, тому дисперсія вашої оцінки, заснованої на моделюванні, p - p ( 1 - p ) / n , де n - кількість моделювання. Ви можете вибрати n, щоб зменшити цю дисперсію стільки, скільки захочете. Це факт , що р ( 1 - р ) / п ≤ 1 / 4 $p(1-p)$$p$$p(1-p)/n$$n$$n$

Отже, якщо ви хочете, щоб дисперсія бути менше деякого заздалегідь визначеного граничного значення, , то ви можете переконатися в цьому, вибираючи п ≥ 1 / 4 б .$\delta$$n \geq 1/4\delta$

У більш загальній обстановці, якщо ви намагаєтесь дослідити властивості розподілу вибірки оцінювача шляхом моделювання (наприклад, середнє значення та дисперсія), ви можете вибрати кількість моделювання, виходячи з того, яку точність ви хочете досягти в аналогічному моди на описане тут.

Також зауважте, що коли середній (або якийсь інший момент) змінної є цікавим об'єктом, як це є тут, ви можете побудувати довірчий інтервал для неї на основі моделювання, використовуючи нормальне наближення (тобто теорему про центральний межа) , про що говорилося в приємній відповіді MansT. Це нормальне наближення краще, оскільки кількість вибірок зростає, тому, якщо ви плануєте побудувати інтервал довіри, звернувшись до теореми про центральний межа, ви хочете, щоб було достатньо великим, щоб застосувати це. Для двійкового випадку, як у вас тут, здається, це наближення добре, навіть коли n p і n ( 1 - p ) досить помірні - скажімо, 20 .$n$$np$$n(1-p)$$20$

Чи правда, що більші, ніж необхідні, тиражі можуть призвести до помилкових упереджень? Якщо так, то як це?

Як я вже згадував у коментарі - це залежить від того, що ви маєте на увазі підроблені. Більша кількість симуляцій не призведе до зміщення в статистичному сенсі, але це може виявити неважливе зміщення, яке помітно лише при астрономічно великому розмірі вибірки. Наприклад, припустимо, що справжня ймовірність покриття неправильно визначеного інтервалу довіри становила . Тоді це насправді не проблема в практичному розумінні, але ви зможете назбирати цю різницю лише в тому випадку, якщо ви виконали багато моделей.$94.9999\%$

Я часто використовую ширину довірчих інтервалів як швидкий і брудний спосіб визначення кількості необхідних ітерацій.

$p$$X$$n$$X\sim {\rm Bin}(n,p)$

$\hat{p}=X/n$$p$$\sqrt{p(1-p)/n}$$n$$\hat{p}$$\hat{p}\pm 1.96\sqrt{\hat{p}(1-\hat{p})/n}$$p$$p\approx 0.95$$2\cdot 1.96\sqrt{0.95\cdot 0.05/n}$

$0.1$$n$

$n$

$\dfrac{\text{Population Standard Deviation}}{\sqrt{n}}$$d$$95\%$$d= 1.96 \times \dfrac{\text{Pop.Std.Dev}}{\sqrt{n}}$$n=\dfrac{ (1.96 \times\text{Pop.Std.Dev})^2}{d^2}$

Здійснення більшої кількості симуляцій (якщо припустити, що всі зразки є утвореними випадковим процесом) нічого не зашкодить оцінці з точки зору точності чи упередженості.

$95\%$$n$$\dfrac{p(1-p)}{n}$