Чому збільшення розміру вибірки зменшує (вибірку) дисперсію?

Велика картинка:

Я намагаюся зрозуміти, як збільшення розміру вибірки збільшує силу експерименту. Слайди мого викладача пояснюють це малюнком 2 нормальних розподілів, одного для нульової гіпотези та одного для альтернативної гіпотези та порогу рішення c між ними. Вони стверджують, що збільшення розміру вибірки зменшить дисперсію і тим самим спричинить більш високий куртоз, зменшивши спільну площу під кривими і, таким чином, ймовірність помилки II типу.

Невелике зображення:

Я не розумію, як більший розмір вибірки зменшить дисперсію.
Я припускаю, що ви просто розраховуєте дисперсію вибірки і використовуєте її як параметр у звичайному розподілі.

Я намагався:

• googling , але більшість прийнятих відповідей мають 0 оновлень або є лише прикладами
• мислення : За законом великих чисел кожна величина повинна врешті стабілізуватися навколо свого ймовірного значення відповідно до звичайного розподілу, який ми припускаємо. Отже, дисперсія повинна збігатися з дисперсією нашого припущеного нормального розподілу. Але яка дисперсія цього нормального розподілу і чи це мінімальне значення, тобто чи можемо ми бути впевнені, що дисперсія вибірки зменшиться до цього значення?

Стандартні відхилення середніх значень менші, ніж стандартні відхилення окремих спостережень. [Тут я припускаю незалежні однаково розподілені спостереження з кінцевою дисперсією населення; щось подібне можна сказати, якщо ви розслабите перші два умови.]

Це наслідок простого факту, що стандартне відхилення суми двох випадкових величин менше, ніж сума стандартних відхилень (воно може бути рівним лише тоді, коли дві змінні ідеально співвідносяться).

Насправді, маючи справу з некорельованими випадковими змінними, ми можемо сказати щось більш конкретне: дисперсія суми змінних - це сума їх дисперсій.

Це означає, що з незалежними (або навіть просто некорельованими) змінними з однаковим розподілом дисперсія середнього значення є дисперсією індивіда, поділеною на розмір вибірки .$n$

Відповідно з незалежними (або навіть просто некорельованими) змінними з однаковим розподілом стандартне відхилення їх середнього значення є стандартним відхиленням особи, поділене на квадратний корінь розміру вибірки:$n$

$\sigma_{\bar{X}}=\sigma/\sqrt{n}$

Отже, додаючи більше даних, ви отримуєте все більш точні оцінки групових засобів. Аналогічний ефект застосовується і при проблемах регресії.

Оскільки ми можемо отримати більш точні оцінки середніх значень, збільшуючи розмір вибірки, ми легше розрізнити засоби, які знаходяться близько один від одного - навіть якщо розподіли перекриваються досить небагато, беручи великий розмір вибірки, ми все ще можемо оцінити їх населення означає досить точно, щоб сказати, що вони не однакові.

Змінність, що зменшується, коли N збільшується, - це мінливість середньої вибірки, часто виражається як стандартна помилка. Або, інакше кажучи, визначеність правдивості середнього зразка зростає.

Уявіть, що ви проводите експеримент, коли збираєте 3 чоловіки та 3 жінки і вимірюєте їх висоту. Наскільки ви впевнені, що середні висоти кожної групи є справжньою середньою для окремих груп населення чоловіків і жінок? Я думаю, що ти взагалі не був би дуже впевнений. Ви можете легко зібрати нові зразки з 3 і знайти нові засоби в декількох сантиметрах від перших. Досить багато з повторних експериментів, як це, може навіть призвести до того, що жінки будуть виражені вище, ніж чоловіки, оскільки засоби так сильно відрізняються. З низьким N у вас немає великої впевненості в середньому для вибірки, і він сильно різниться у зразках.

А тепер уявіть 10 000 спостережень у кожній групі. Буде досить важко знайти нові зразки 10 000, які мають засоби, що сильно відрізняються один від одного. Вони будуть набагато менш змінними, і ви будете більш впевнені в їх точності.

$\sigma$$\sqrt n$

Ось невелике моделювання в R, щоб продемонструвати співвідношення між стандартною помилкою та стандартним відхиленням за допомогою багатьох багатьох реплікацій початкового експерименту. У цьому випадку ми почнемо із середнього показника чисельності населення 100 та стандартного відхилення 15.

mu <- 100
s <- 50
n <- 5
nsim <- 10000 # number of simulations
# theoretical standard error
s / sqrt(n)
# simulation of experiment and the standard deviations of their means
y <- replicate( nsim, mean( rnorm(n, mu, s) ) )
sd(y)

Зверніть увагу, наскільки підсумкове стандартне відхилення близьке до теоретичної стандартної помилки. Граючи з n змінною тут, ви можете бачити, що міра змінності буде зменшуватися в міру збільшення n.

[Крім того, куртоз у графіках насправді не змінюється (якщо припустити, що це нормальні розподіли). Зниження дисперсії не змінює куртозу, але розподіл буде виглядати вужчим. Єдиний спосіб візуально дослідити зміни куртозу - це розміщення розподілів у тому самому масштабі.]

Якби ви хотіли дізнатись, яка середня вага американських громадян, то в ідеальному випадку ви негайно попросите кожного громадянина ступити на ваги та зібрати дані. Ви отримаєте точну відповідь. Це дуже важко, тому, можливо, ви могли б змусити кількох громадян крокувати за шкалою, обчислити середній рівень та отримати уявлення про те, яким є середній показник населення. Чи очікуєте ви, що середня вибірка буде точно рівною середній кількості населення? Я сподіваюся, що не.

Тепер, чи погоджуєтесь ви, що якби у вас було все більше людей, ми в якийсь момент наблизимось до числа населення? Ми повинні, правда? Зрештою, більшість людей, яких ми можемо отримати, - це все населення, і це означає, що ми шукаємо. Це інтуїція.

Це був ідеалізований мислительний експеримент. Насправді є ускладнення. Я дам тобі два.

• Уявіть, що дані надходять із розподілу Коші . Ви можете збільшити свій зразок нескінченно, але дисперсія не зменшиться. Цей розподіл не має різниці між населенням. Насправді, строго кажучи, він також не має зразка середнього значення. Це сумно. Дивовижно, що цей розподіл цілком реальний, він з’являється тут і там у фізиці.
• Уявіть, що ви вирішили продовжити завдання з визначення середньої ваги американських громадян. Отже, ти береш свій масштаб і йдеш від дому додому. Це займе у вас багато-багато років. До моменту збору мільйонів спостережень деякі громадяни у вашій наборі даних сильно змінили свою вагу, деякі померли тощо. Справа в тому, що збільшення розміру вибірки в цьому випадку вам не допоможе.

Я вважаю, що Закон великих чисел пояснює, чому дисперсія (стандартна помилка) зменшується, коли розмір вибірки збільшується. Стаття Вікіпедії про це говорить:

Відповідно до закону, середня кількість результатів, отриманих у великій кількості випробувань, повинна бути близькою до очікуваної величини, і вона, як правило, стає ближчою, оскільки проводиться більше випробувань.

З точки зору центральної граничної теореми:

При складанні однієї випадкової вибірки, чим більша вибірка, тим ближче середня вибірка буде до середньої сукупності (у вищенаведеній цитаті подумайте про "кількість випробувань" як "розмір вибірки", тому кожне "випробування" є спостереженням) ). Тому при малюванні нескінченної кількості випадкових зразків дисперсія розподілу вибірки буде меншою, чим більший розмір кожного зразка.

Іншими словами, форма дзвіночка буде вужчою, коли кожен зразок великий, а не малий, оскільки таким чином кожне середнє зразко буде ближче до центру дзвоника.

Зі збільшенням розміру вибірки дисперсія вибірки (варіація між спостереженнями) збільшується, але дисперсія середньої вибірки (стандартна помилка) зменшується і, отже, збільшується точність.