Наскільки великою повинна бути вибірка для заданої методики та параметрів оцінки?

Чи існує велике правило або взагалі якийсь спосіб сказати, наскільки великим повинен бути зразок, щоб оцінити модель з заданою кількістю параметрів?

Так, наприклад, якщо я хочу оцінити регресію найменших квадратів з 5 параметрами, наскільки великим повинен бути зразок?

Чи не має значення, яку техніку оцінювання ви використовуєте (наприклад, максимальна ймовірність, найменше квадратів, ГММ), чи скільки або які тести ви збираєтеся виконати? Чи слід враховувати мінливість вибірки при прийнятті рішення?

Тривіальна відповідь полягає в тому, що більше даних завжди віддають перевагу менше даних.

Проблема невеликого розміру вибірки зрозуміла. У лінійній регресії (OLS) технічно ви можете помістити таку модель, як OLS, де n = k + 1, але ви отримаєте сміття з неї, тобто дуже великі стандартні помилки. Існує чудова праця Артура Голдбергера під назвою Micronumerocity на цю тему, яка узагальнена в главі 23 книги "Курс економетрії" .

Поширене евристичне те, що для кожного параметра, який ви хочете оцінити, у вас повинно бути 20 спостережень. Це завжди компроміс між величиною ваших стандартних помилок (а отже, і тестуванням значимості) та величиною вашої вибірки. Це одна з причин, що деякі з нас ненавидять тестування на значущість, оскільки ви можете отримати неймовірно малу (відносну) стандартну помилку з величезною вибіркою, і тому знаходите безглузду статистичну значимість на наївних тестах, наприклад, чи нульовий коефіцієнт регресії.

Хоча розмір вибірки важливий, якість вашої вибірки важливіша, наприклад, чи вибірка є загальною для популяції, чи це Простий випадковий зразок чи інша відповідна методологія вибірки (і це враховувалося під час аналізу), чи є помилка вимірювання , упередженість відповіді, зміщення вибору тощо.

Мені подобається використовувати перекомпонування: я повторюю будь-який метод, який я використав із підпробою даних (скажімо, 80% або навіть 50% від загальної кількості). Роблячи це з багатьма різними підпробами, я відчуваю, наскільки надійні оцінки. Для багатьох процедур оцінки це може бути перетворено на реальну (тобто оприлюднюючу) оцінку ваших помилок.

Він завжди повинен бути досить великим! ;)

Усі оцінки параметрів поставляються з невизначеністю оцінки, яка визначається розміром вибірки. Якщо ви проводите регресійний аналіз, це допомагає нагадати собі, що розподіл Χ ² побудований з набору вхідних даних. Якщо у вашої моделі було 5 параметрів, а у вас було 5 точок даних, ви могли б обчислити лише одну точку розподілу Χ ² . Оскільки вам потрібно буде його мінімізувати, ви можете вибрати лише одну точку як здогад про мінімум, але доведеться призначити нескінченні помилки вашим оціненим параметрам. Наявність більшої кількості точок даних дозволить краще зіставити простір параметрів, що призведе до кращої оцінки мінімуму розподілу Χ ² і, таким чином, менших помилок оцінювача.

Чи використовуєте ви оцінку максимальної ймовірності замість цього, ситуація була б подібною: Більше точок даних призводить до кращої оцінки мінімальної величини.

Що стосується точкової дисперсії, то вам також потрібно буде моделювати цю модель. Наявність більшої кількості точок даних зробить групування точок навколо "справжнього" значення більш очевидним (завдяки теоремі центрального граничного значення), а небезпека інтерпретації великого, випадкового коливання як справжнього значення для цієї точки зменшиться. А що стосується будь-якого іншого параметра, то ваша оцінка дисперсії балів стане стабільнішою, чим більше точок даних у вас.

Я почув у цьому плані два правила. Стверджується, що доки в терміні помилки є достатньо спостережень, щоб викликати центральну граничну теорему, наприклад, 20 чи 30, у вас все добре. Інший стверджує, що за кожним оціненим схилом слід мати принаймні 20 або 30 спостережень. Різниця між використанням 20 або 30 як цільового числа ґрунтується на різних думках щодо того, коли є достатньо спостережень, щоб обґрунтовано викликати теорему центрального граничного значення.