Пошук точності оцінки імітації Монте-Карло

Фон

Я розробляю моделювання Монте-Карло, що поєднує в собі результати ряду моделей, і я хочу бути впевненим, що моделювання дозволить мені висловити обґрунтовані твердження щодо ймовірності імітованого результату та точності цієї оцінки ймовірності.

Моделювання знайде ймовірність того, що присяжні, складені із визначеної громади, засудять певного підсудного. Це етапи моделювання:

1. Використовуючи наявні дані, сформуйте логістичну модель ймовірності ( M ) шляхом регресування «голосування при голосуванні в першому ж складі» на демографічних прогнозах.

2. Використовуйте методи Монте-Карло для імітації 1000 версій M (тобто 1000 версій коефіцієнтів для параметрів моделі).

3. Виберіть одну з 1000 версій моделі ( M _i ).

4. Емпанель 1000 присяжних, випадковим чином вибравши 1000 наборів із 12 «присяжних» від «громади» ( С ) осіб із заданими розподілами демографічних характеристик.

5. Детерміновано обчисліть ймовірність першого голосування винних за кожне присяжне за допомогою M _i .

6. Перетворіть кожен ймовірний голос "присяжних" на визначений голос (виходячи з того, чи більший він чи менший від випадково вибраного значення між 0-1).

7. Визначте "остаточне голосування" кожного "присяжного" за допомогою моделі (отриманої з емпіричних даних) ймовірності того, що журі буде засуджено, залежно від частки присяжних, які проголосували за засудження у першому голосуванні.

8. Зберігайте частку винних вироків для 1000 присяжних ( PG _i ).

9. Повторіть кроки 3-8 для кожного з 1000 змодельованих версій M .

10. Обчислити середнє значення PG і звіт про те , що в якості точкової оцінки ймовірності засудження в  C .

11. Визначте значення 2,5 та 97,5 перцентилу для PG та повідомте, що довірчий інтервал 0,95.

В даний час я використовую 1000 присяжних і 1000 присяжних за теорією, що 1000 випадкових результатів випливає з розподілу ймовірностей - демографічних характеристик С або версій М - заповнить цей розподіл.

Запитання

Чи це дозволить мені точно визначити точність моєї оцінки? Якщо так, то скільки присяжних мені потрібно подавати для кожного розрахунку PG _i, щоб покрити розподіл ймовірностей C (тому я уникаю упередженості відбору); чи можу я використовувати менше 1000?

Дуже дякую за будь-яку допомогу!

Існує один загальний і "всесвітній" критерій доброти Монте-Карло - конвергенція.

Дотримуйтесь одного М і перевірте, як PG поводиться з кількістю присяжних - він повинен сходитися, тому покаже вам кількість повторень, для яких у вас буде розумна (для вашої заявки) кількість значущих цифр. Повторіть цей орієнтир для кількох інших представниць, щоб переконатися, що вам не пощастило з вибором M, а потім приступайте до всього моделювання.

Мені здається, проблема тут полягає в тому, чи є модель занадто складною, щоб виглядати, не використовуючи моделювання Монте-Карло.

Якщо модель є відносно простою, то слід розглянути її за допомогою конвенціональної статистики та отримати рішення заданого питання, не повторно запускаючи модель кілька разів. Це трохи непосильне спрощення, але якщо вся ваша модель робила точки, засновані на нормальному розподілі, ви зможете легко отримати потрібний варіант відповідей. Звичайно, якщо модель така проста, то вам навряд чи знадобиться робити моделювання в Монте-Карло, щоб знайти свої відповіді.

Якщо проблема є складною і її неможливо розбити на більш елементарну, Монте-Карло - це правильний тип моделі, але я не думаю, що існує спосіб визначення меж довіри без руйнування моделі. Зрештою, щоб описати тип меж довіри, описаний ним, модель повинна була б бути запущена кілька разів, розподіл ймовірностей повинен був би відповідати результатам, і звідти можна було б визначити межі конфіденційності. Одне з викликів моделювання Монте-Карло полягає в тому, що моделі дають хороші і регулярні відповіді на розподіли в середньому діапазоні, але хвости часто дають набагато більше змінних результатів, що в кінцевому підсумку означає більше пробіжок для визначення форми виходів на рівні 2,5% і 97,5% перцентилів.