Чому 600 з 1000 переконливіші, ніж 6 з 10?

Подивіться на цей уривок із „Посібника з навичок вивчення”, Palgrave, 2012, Стелла Коттрелл, сторінка 155:

Відсотки Зауважте, коли вказані відсотки.
Припустимо, замість цього, заява вище:

60% людей вважали за краще апельсини; 40% сказали, що віддають перевагу яблукам.

Це виглядає переконливо: Числові величини наведені. Але чи істотна різниця між 60% і 40% ? Тут ми повинні знати, скільки людей запитували. Якби запитали 1000 людей, з яких 600 кращих апельсинів, кількість була б переконливою. Однак, якщо запитували лише 10 людей, 60% просто означає, що 6 людей віддали перевагу апельсинам. "60%" звучить переконливо таким чином, що "6 з 10" цього не робить. Як критичний читач, вам потрібно бути уважним до того, щоб відсотки використовувалися, щоб зробити недостатньо даних вигляд вражаючим.

Як називається ця характеристика в статистиці? Я хотів би прочитати більше про це.

Я хотів би перерахувати ще один інтуїтивний приклад.

Припустимо, я скажу вам, що я можу передбачити результат будь-якого перевертання монети. Ви не вірите і хочете перевірити мою здатність.

Ви тестували 5 разів, і я все правильно зрозумів. Чи вірите ви, що я маю особливі здібності? Можливо, не. Тому що я можу отримати їх усі випадково. ( В зокрема, припустимо , що монета є справедливою монети, і кожен експеримент не залежить, то я можу отримати всі права з , що не наддержава. Знайомства Shufflepants в посилання на жарт про це).$0.5^5\approx0.03$

З іншого боку, якщо ви тестували мене велику кількість разів, то навряд чи я зможу отримати це випадково. Наприклад, якщо ви перевірили разів, ймовірність того, що я все виправлю, становить .0,5 100 ≈ $100$$0.5^{100}\approx 0$

Статистичну концепцію називають статистичною силою, від Wikipeida

Сила тесту бінарної гіпотези - це ймовірність того, що тест правильно відкидає нульову гіпотезу (H0), коли альтернативна гіпотеза (H1) є істинною.

Повернувшись до суперсили на прикладі відкидання монети, по суті, ви хочете провести тестування гіпотез.

• Нульова гіпотеза (H0): Я не маю надсильної сили
• Альтернативна гіпотеза (H1): Я маю надсильну силу

Тепер, як ви бачите в числовому прикладі (перевірити мене 5 разів проти тестувати мене 100 разів), на статистичну потужність впливає розмір вибірки.

Більше читати тут . (більш технічна та заснована на t-тесті).

Інтерактивний інструмент для розуміння статистичної потужності можна знайти тут . Зауважте, статистична потужність змінюється з розміром вибірки!

Подумайте про це в пропорціях. Скажімо, що віддавати перевагу апельсину - це успіх, а віддавати перевагу яблуку - це невдача. Отже, ваш середній показник успіху - або в цьому випадку .6$\mu = \frac{\text{# of sucesses}}{n}$

Стандартна помилка цієї кількості оцінюється як . Для невеликого розміру вибірки (тобто 10) стандартна помилка становить але для розміру вибірки 1000 стандартна помилка становить . Отже, як було сказано в коментарях, "розмір вибірки має значення". ≈.155≈$\sqrt{\frac{\mu(1-\mu)}{n}}$$\approx .155$$\approx .0155$

Ця концепція є наслідком закону великої кількості . З Вікіпедії ,

Відповідно до закону, середня кількість результатів, отриманих у великій кількості випробувань, повинна бути близькою до очікуваної величини, і вона, як правило, стає ближчою, оскільки проводиться більше випробувань.

Результати невеликої вибірки можуть бути більшими від очікуваного значення, ніж результати, отримані з більшої вибірки. І тому, як зазначено у запитанні, слід бути обережними щодо результатів, обчислених із невеликих вибірок. Ідея також досить добре пояснена у цьому YouTube-відео .

Ми опинилися в оцінці деякої кількості населення за деякою кількістю вибірки. У цьому випадку ми використовуємо вибіркові пропорції для оцінки пропорцій населення, але принцип є значно більш загальним.

Якщо ви вважаєте, що всі спостереження у вашій вибірці беруть значення коли вони мають характеристику, що цікавить ("приклади кращих апельсинів до яблук" у прикладі) та коли вони не мають, тоді частка -х однакова як середнє значення для набору значень і - тож ви легко бачите, що вибіркова частка насправді є середньою.0 1 0 $1$$0$$1$$0$$1$

Оскільки ми беремо більші та більші зразки (використовуючи випадкові вибірки), засоби вибірки будуть схильні до зближення до середньої сукупності. (Це закон великої кількості.)

Однак те, що ми насправді хочемо мати певне уявлення, - це як далеко ми можемо бути (наприклад, що може бути представлене шириною довірчого інтервалу для пропорції або похибкою, яка зазвичай становить половину такої ширини) .

Як правило, чим більше у вас є даних, тим менше буде невизначеності щодо деякої кількості, як середнього, - оскільки стандартне відхилення розподілу середнього зразка зменшується, коли ви берете більші зразки. [Уявіть, що вибираєте за допомогою багатьох різних зразків розміром 4. Розподіл цих засобів менш мінливий, ніж розподіл оригінальних спостережень - стандартне відхилення має бути, як правило, вдвічі більшим. Тепер, якщо ви берете за допомогою безлічі різних зразків розміром 400, стандартне відхилення цього знову повинно бути значно меншим (приблизно го від стандартного відхилення від початкових спостережень).$\frac{_1}{^{20}}$

Стандартне відхилення розподілу середньої вибірки є одним із способів вимірювання типової відстані середньої вибірки від середньої сукупності, яка зменшується (вона зменшується як , як у наведені вище приклади).$\frac{_1}{^\sqrt{n}}$

Як результат, ми впевнені у точності нашої оцінки, коли вибірка велика - якби ми повторили експеримент ще раз, інші подібні засоби були б близькими до поточного - вони згуртовуються все більше і більше, і оскільки (у цьому випадку) наша оцінка є неупередженою, вони об'єднуються навколо значень, які ми намагаємось оцінити. Середнє значення вибірки стає все більш інформативним про те, де може бути середнє населення.

Основне правило для "підрахунку" статистики, як, наприклад, підрахунок кількості людей, які люблять апельсини, або підрахунку кількості "кліків" в лічильнику Гейгера через радіоактивне розпад, полягає в тому, що похибка для підрахунку приблизно дорівнює квадрату -корінь очікуваного значення підрахунку. Статистика підрахунку відома - статистика Пуассона.

Квадратний корінь 6 дорівнює 2,4-ish, тому похибка становить приблизно 40% (2,4 / 6). Квадратний корінь 600 дорівнює 24-ішам, тому похибка становить близько 4% (24/600). Ось чому підрахунок 600 є більш значущим, ніж підрахунок 6. Відносна похибка становить одну десяту.

Я трохи неохайний щодо визначення межі помилки. Це дійсно значення 1-сигми, і це не важке відсічення, але це діапазон, де ви очікуєте лежати більшість (68%) вимірювань. Тож якщо ви очікуєте 6 помаранчевих їдців, ви очікуєте, що серія опитувань дасть вам здебільшого числа в діапазоні від 4 до 8, наприклад, 6,6,5,6,7,2,4,6,3,5,6, 6,7,6,10,8,6,5,6,6,9,3,7,8.

У мене немає імені, якого ви шукаєте, але питання не є статистичним. Психологічно те, як люди обробляють числа в нашому мозку, надають більшу вагу (авторитет) більшим числом, ніж це робить менші числа, оскільки величина (фізичний розмір) візуально така ж важлива, як і репрезентативна величина. Таким чином, 600/1000 видається більш надійним, ніж 6/10. Ось чому покупці вважають за краще бачити "10% знижки!" для значень менше 100 та "Економте 10 доларів!" для значень понад 100 (називається "Правило 100"). Йдеться про те, як наш мозок реагує на сприйняття.

Дивовижний погляд на це та подібні види явищ обговорює Нік Коленда в своєму онлайн-трактаті " Величезний посібник з ціноутворення в психології ".

Хоча фактична помилка є важливою, причина, чому вона звучить переконливіше, - через більш евристичний (велике правило) досвід роботи з людьми. Фактична похибка підтверджує, що цей евристичний має достоїнство.

Якщо вибірка становить 6 за, а 4 проти, це може бути 50/50, якщо одна людина змінить свій голос або одна особа була записана помилково. З 6 боку є лише двоє людей. Всі знають два пластівці, всі знають, що зразок може бути вишневим: ви запитували лише офіціантки і ніхто більше. Або ви опитували лише 10 викладачів коледжів у залах університету. Або ви запитали 10 заможних людей за межами Сакс П’ятої авеню.

Навіть математична помилка припускає справжню випадковість і не враховує зміщення вибору, або упередження самовибору, або що-небудь інше, люди можуть це зрозуміти інтуїтивно.

На противагу цьому, результат 600 проти 400 має на 200 більше людей з одного боку, ніж інший, і 100 людей повинні змінити свою думку. Ці цифри дуже важко знайти (але не неможливо) випадково, де ви опитувались, як ви змусили людей погодитися, як люди зрозуміли чи інтерпретували питання тощо.

Це переконливіше не через математичний доказ того, що повинно бути, а тому, що ми знаємо з досвіду, що натовпи 1000 набагато частіше відрізняються у своїх думках (ні про що), ніж група з 10. (якщо ви не таємно це робили ваше опитування на з’їзді політичних партій або мітингу KKK або щось інше, що може призвести до одностороннього натовпу).

Математика лише точно кількісно оцінює те, що ми вже знаємо за допомогою інтуїції; що легше випадково зіткнутися з одним або двома бродячими голосами з 10, ніж випадково зіткнутися зі 100 або 200 бродячих голосів із 1000.

Щось, про що не було сказано, - це дивитися на проблему з байєсівської точки зору.

В умовах Байєса природним підходом до цієї проблеми було б використання бета-біноміального розподілу. Можна припустити, що ймовірність того, що хтось віддасть перевагу апельсинам над яблуками, є , який розподілила бета-версія, і що спостереження розподіляються двочленно з параметром : $p$$p$

Припустимо, що у вас немає априорних причин вважати, що більшість людей віддають перевагу апельсинам над яблуками чи навпаки ( ), але і у вас немає твердої думки з цього приводу (слабкий до: ). Тому попередній розподіл є рівномірним .$\beta=\alpha$$\beta=\alpha=1$$p$$\mathrm{U}(0,1)$

відповіді з щодо уподобань людей, ви зазначаєте, що респонденти віддають перевагу апельсинам, а з них віддають перевагу .$n$$n_o$$n_a=n-n_o$

Задній розподіл дорівнює: p | n o , n a ∼ B e t a ( n o + 1 , n a + 1 ) $p$

Хоча режим задньої частини (тобто максимальний a-posteriori) незалежно від кількості респондентів, сам розподіл дуже різний: він значно більший за максимальний ніж для малого ті.n o / ( n o + n a ) $p$$n_o/(n_o+n_a)$$n$

Щоб дати вам уявлення, це задня з і :n a = $n_o=6$$n_a=4$

Хоча це заднє з і : n a = $n_o=600$$n_a=400$

Як ви читаєте ці сюжети? Ви можете пояснити так: "Я зауважую, що 6 з 10 людей (випадково вибраних з населення) віддають перевагу апельсинам над яблуками, але чи могла б справжня основна ймовірність (для всього населення) 0,4 або 0,8? Ну, відповідно до першого сюжет це цілком можливо ". Якщо ви зробите те ж саме для другого сюжету (тобто з 1000 респондентами), ви отримаєте, що або дуже малоймовірно (знову ж таки, я припускаю, що 1000 є IID-зразками з популяції).p = $p=0.4$$p=0.8$

Зауважте, що хоч ці сюжети виглядають схожими на давид25272, але вони представляють щось зовсім інше .

Його сюжети задають питання: "припускаючи задане значення відоме, яка ймовірність спостереження людей у ​​відповідь, що вони віддають перевагу апельсинам над яблуками?"н $p$$n_o$

Мої сюжети відповідають на питання: "припускаючи, що я спостерігаю, люди, які відповідають, що вони віддають перевагу апельсинам над яблуками, який розподіл ймовірностей , ймовірність того, що люди віддають перевагу апельсинам над яблуками?"$n_o$$p$

Коротка відповідь:

В основному, більш переконливо мати 600 з 1000, ніж шість з 10, оскільки, з огляду на рівні переваги, набагато частіше 6 з 10 трапляються випадково.

Давайте зробимо припущення - що частка, яка віддавала перевагу апельсинам і яблукам, насправді однакова (так, 50% кожен). Назвіть це нульовою гіпотезою. Враховуючи ці рівні ймовірності, ймовірність двох результатів:

• Враховуючи вибірку з 10 осіб, є 38% шансів випадково отримати вибірку з 6 і більше людей, які віддають перевагу апельсинам (що не все, що малоймовірно).
• У вибірці з 1000 людей є менше 1 на мільярд шансів мати 600 і більше з 1000 людей віддають перевагу апельсинам.

(Для простоти я припускаю нескінченну сукупність, з якої беруть необмежену кількість зразків).

Просте виведення

Один із способів отримати цей результат - просто перерахувати потенційні способи поєднання людей у ​​наших зразках:

Для десяти людей це легко:

Розгляньте малюнок з 10 випадкових випадків з нескінченної сукупності людей, що мають однакові переваги до яблук чи апельсинів. З рівними уподобаннями легко просто перерахувати всі потенційні комбінації 10 людей:

Ось повний список.

r   C (n=10)    p
10  1       0.09766%
9   10      0.97656%
8   45      4.39453%
7   120     11.71875%
6   210     20.50781%
5   252     24.60938%
4   210     20.50781%
3   120     11.71875%
2   45      4.39453%
1   10      0.97656%
0   1       0.09766%
    1024    100%

r - кількість результатів (люди, які віддають перевагу апельсинам), C - кількість можливих способів, що багато людей віддають перевагу апельсинам, і p - результуюча дискретна ймовірність того, що багато людей віддають перевагу апельсинам у нашому зразку.

(p - просто C, поділене на загальну кількість комбінацій. Зауважте, що існує 1024 способи впорядкування цих двох переваг загалом (тобто 2 до потужності 10).

• Наприклад, існує лише один спосіб (один зразок) на 10 людей (r = 10), щоб усі вважали за краще апельсини. Те саме стосується всіх людей, які віддають перевагу яблукам (r = 0).
• Є 10 різних комбінацій, в результаті яких дев'ять з них віддають перевагу апельсинам. (Одна людина віддає перевагу яблукам у кожному зразку).
• Є 45 зразків (комбінацій), де 2 людини віддають перевагу яблукам тощо тощо.

(Взагалі ми говоримо про n C r комбінації результатів r від вибірки з n людей. Є онлайн-калькулятори, які можна використовувати для перевірки цих чисел.)

Цей список дозволяє нам наводити вище ймовірності, використовуючи просто ділення. Є 21% шансів потрапити до вибірки 6 людей, які віддають перевагу апельсинам (210 з 1024 комбінацій). Шанс отримати шість і більше людей у ​​нашій вибірці становить 38% (сума всіх зразків з шести і більше людей, або 386 з 1024 комбінацій).

Графічно вірогідності виглядають приблизно так:

З більшою кількістю кількість потенційних комбінацій швидко зростає.

Для зразків всього 20 осіб існує 1048 576 можливих зразків, всі з однаковою ймовірністю. (Примітка. Я показав лише кожну другу комбінацію нижче).

r    C (n=20)   p
20   1          0.00010%
18   190        0.01812%
16   4,845      0.46206%
14   38,760     3.69644%
12   125,970    12.01344%
10   184,756    17.61971%
8    125,970    12.01344%
6    38,760     3.69644%
4    4,845      0.46206%
2    190        0.01812%
0    1          0.00010%
     1,048,576  100%

Є ще один зразок, де всі 20 людей віддають перевагу апельсинам. Комбінації, які мають змішані результати, набагато ймовірніші, просто тому, що існує набагато більше способів поєднання людей у ​​вибірках.

Упереджені зразки набагато малоймовірніші лише тому, що є менше комбінацій людей, які можуть призвести до цих вибірок:

Що стосується всього 20 осіб у кожному зразку, сукупна ймовірність наявності 60% або більше (12 і більше) людей у ​​нашому зразку, що віддають перевагу апельсинам, падає до всього 25%.

Видно, що розподіл ймовірностей стає тоншим і вищим:

З 1000 людей цифри величезні

Ми можемо поширити вищенаведені приклади на більші зразки (але цифри зростають занадто швидко, щоб було можливо перерахувати всі комбінації), натомість я обчислив ймовірності в R:

r   p (n=1000)
1000    9.332636e-302
900     5.958936e-162
800     6.175551e-86
700     5.065988e-38
600     4.633908e-11
500     0.02522502
400     4.633908e-11
300     5.065988e-38
200     6.175551e-86
100     5.958936e-162
0       9.332636e-302

Сукупна ймовірність наявності 600 або більше з 1000 людей віддають перевагу апельсинам лише 1,364232e-10.

Розподіл ймовірностей зараз набагато більш зосереджений навколо центру:

[

(Наприклад, для обчислення ймовірності рівно 600 з 1000 людей, які віддають перевагу апельсинам в R, dbinom(600, 1000, prob=0.5)що дорівнює 4,633908e-11, а ймовірність 600 і більше людей 1-pbinom(599, 1000, prob=0.5), що дорівнює 1,364232e-10 (менше 1 на мільярд).

Це тому, що більша кількість забезпечує більшу точність. Наприклад, якби ви зібрали 1000 випадкових людей з будь-якої точки планети, а 599 з них - чоловіки проти 10 випадкових людей з 6 чоловіками, перший був би більш точним. Аналогічно, якщо ви припускаєте 7 мільярдів чисельності та підраховуєте кількість чоловіків, ви отримаєте більш точне число, яке, очевидно, буде більш переконливим, ніж лише 1000 людей.