Інтуїтивно зрозуміти «дисперсію»

Який найчистіший і найпростіший спосіб пояснити комусь поняття дисперсії? Що це означає інтуїтивно? Якщо потрібно пояснити це своїй дитині, як би це зробити?

Це поняття, яке у мене є складним у артикуляції, особливо коли стосуються відмінність від ризику. Я розумію це математично і можу це пояснити і так. Але коли ви пояснюєте явища реального світу, як ви змусите зрозуміти відмінність, і це може бути застосоване у "реальному світі"?

Скажімо, ми моделюємо інвестиції в акції, використовуючи випадкові числа (прокатка штампу або використання листа excel, не має значення). Ми отримуємо деяку "рентабельність інвестицій", пов'язуючи кожен екземпляр випадкової змінної з "деякою зміною" у віддачі. Напр .:

Зміна 1 означає зміну інвестицій на 0,8 за 1 долар , 5 на 1,1 на 1 долар тощо.

Тепер, якщо це моделювання буде запущено приблизно 50 разів (або 20 або 100), ми отримаємо деякі значення та кінцеву вартість інвестицій. Отже, що насправді говорить «дисперсія», якби ми обчислювали її з вищенаведеного набору даних? Що означає "бачення" - Якщо дисперсія виявиться 1,7654 або 0,88765 або 5,2342, що це навіть означає? Що я / що можу спостерігати щодо цієї інвестиції ?? Які висновки я можу зробити - простою людиною.

Будь ласка, додайте це питання і для стандартного відхилення! Хоча я вважаю, що це "простіше" зрозуміти, але щось, що сприяло б зробити його також "інтуїтивно зрозумілим", буде дуже вдячне!

Я б, мабуть, використовував аналогічну аналогію з тією, яку я навчився надавати "непрофесійним людям", коли впроваджував поняття зміщення та дисперсії: аналогія дартс. Дивіться нижче:

Конкретне зображення зображено вище з Енциклопедії машинного навчання , а посилання на зображенні - Мур та МакКейб «Вступ до практики статистики» .

Редагувати:

Ось вправа, на яку я вважаю, досить інтуїтивно зрозуміла: візьміть колоду карт (зі скриньки) та опустіть колоду з висоти близько 1 фута. Попросіть дитину забрати картки та повернути їх вам. Тоді, замість того, щоб скидати колоду, киньте її якомога вище і нехай карти впадуть на землю. Попросіть дитину забрати картки та повернути їх вам.

Відносна задоволення, яке вони проводять під час двох випробувань, повинно дати їм інтуїтивне відчуття відмінності :)

Раніше я жартував статистику для мирян, і я виявив, що вони багато чому вчаться.

Припустимо, для дисперсії або стандартного відхилення наступний жарт є досить корисним:

Жарт

Після того, як два статистики висоти 4 фути і 5 футів повинні перетнути річку ПРОСЬОГО глибиною 3 фути. Тим часом приходить третій статистик і каже: "чого ви чекаєте? Ви легко можете перейти річку"

Я припускаю, що мирянин знає про "середній" термін. Ви також можете задати їм те саме запитання, що вони перетнули б річку в цій ситуації?

Чого їм не вистачає, це «дисперсія», щоб вирішити, «що робити в ситуації»?

Вся справа у ваших навичках презентації. Однак жарти дуже допомагають мирянину, який хоче зрозуміти статистику. Я сподіваюся, що це допомагає!

Я б зосередив увагу на стандартному відхиленні, а не на дисперсії; дисперсія в неправильній шкалі.

Так само як середнє значення є типовим значенням, SD є типовою (абсолютною) різницею від середнього. Це не на відміну від складання розподілу в середньому і взяття середнього.

Я не погоджуюсь з великою кількістю відповідей, які виступають за те, щоб люди просто вважали дисперсію як поширену. Як наголосили розумні люди (Нассім Талеб), коли люди думають про розбіжність як про поширення, вони просто вважають, що це MAD.

Варіантність - це опис того, наскільки учасники знаходяться від середньої величини, і він судить про важливість кожного спостереження на цій же відстані. Це означає, що спостереження далеко оцінюються важливіше. Звідси квадрати.

Я думаю, що дисперсію суцільної рівномірної змінної найлегше зобразити. Кожне спостереження може мати до нього намальований квадрат. Укладання цих квадратів створює піраміду. Розріжте піраміду навпіл, щоб половина ваги була в одній стороні, а половина - в іншій. Обличчя, де ви її вирізали, є дисперсією.

Можливо, це могло б допомогти. Я заздалегідь прошу вибачення, що як повний аматор я можу помилитися з цим.

Уявіть, ви попросите 1000 людей правильно здогадатися, скільки квасолі знаходиться в банку, наповненій квасолею. Тепер уявіть, що вам не обов'язково цікаво знати правильну відповідь (яка може бути корисною), але ви хочете краще зрозуміти, як люди оцінюють відповідь.

Варіант може бути пояснений непростої людині як поширення різних відповідей (від найвищої до найнижчої). Ви можете продовжити, додавши, що якщо достатньо людей опитується, правильна відповідь повинна лежати десь посеред поширення даної "номерної оцінки".

Зараз я звертаюся до деяких моїх більш шанованих колег для винесення рішення

Я сидів, намагаючись розгадати дисперсію, і те, що нарешті змусило її натиснути на місце, - це подивитися на це графічно.

Скажіть, ви намалюєте числовий рядок з чотирма точками, -7, -1, 1 і 7. Тепер намалюйте уявну вісь Y з тими ж чотирма точками вздовж вимірювання Y, а за допомогою пар XY намалюйте квадрат для кожної пари балів. Ви закінчуєте чотири окремі квадрати, що складаються з 49, 1, 1 і 49 менших квадратів. Кожен з них вносить свій внесок у загальну суму квадратів, які самі по собі можуть бути представлені у вигляді великої площі 10 х 10 із 100 меншими квадратами.

Варіантність - це розмір середнього квадрата, що сприяє збільшенню площі. 49 + 1 + 49 + 1 = 100, 100/4 = 25. Отже, 25 буде дисперсією. Стандартним відхиленням буде довжина однієї зі сторін цього середнього квадрата, або 5.

Очевидно, що ця аналогія не охоплює повного нюансу поняття дисперсії. Є багато речей, які потрібно пояснити, наприклад, чому ми часто використовуємо знаменник n-1 для оцінки параметру сукупності, а не просто використовувати n. Але як основна концепція прив’язати решту детального розуміння дисперсії, просто намалювавши її, щоб я міг бачити, що це дуже допомогло. Це допомагає зрозуміти, що ми маємо на увазі, коли ми говоримо, що дисперсія - це середнє квадратичне відхилення від середнього. Це також допомагає зрозуміти, яке відношення має SD до цього середнього.

Майте багато практики вчити мирян щодо стандартного відхилення та дисперсії.

TL; DR; Це щось на зразок середнього відстані від середнього. (що в такій стислій версії трохи заплутано і вводить в оману. Тому прочитайте повну статтю)

Я припускаю, що мирянин знає про середнє. Розповідаю про важливість знання SD та оцінки помилок (див. PS нижче). Тоді я обіцяю, що ніяких знань з високої математики чи сакральної статистики не використовуватимуть - лише сухі міркування та чиста логіка.

1. Проблема. Скажімо, у нас є термометр (я вибираю вимірювальний прилад залежно від того, що ближче до слухового).

   Ми зробили N вимірювань однієї температури і термометр показав нам щось на зразок 36,5, 35,9, 37,0, 36,6, ... (див. Рис.). Ми знаємо, що реальна температура була однаковою, але термометр нам лежить трохи під час кожного вимірювання.

   Як ми можемо оцінити, наскільки нас лежить ця маленька негідність?

   Ми можемо обчислити середнє значення (див. Червону лінію на малюнку нижче). Чи можемо ми повірити? Навіть після усереднення це має достатньо точності для наших потреб?

   

2. Найпростіший підхід . Ми можемо взяти найдальшу точку, обчислити відстань між нею і середнім (червона лінія) і сказати, що саме так лежить нам термометр, оскільки ми бачимо максимальну помилку. Можна було здогадатися, це не найкраща оцінка. Якщо ми подивимось на картину, більшість балів приблизно в середньому, як ми можемо вирішити лише один бал? Насправді можна практикувати нумерацію причин, за якими така оцінка є грубою і зазвичай поганою.

3. Варіантність . Потім ... давайте пройдемо всі відстані та обчислимо середню відстань !

   $(x_{i} - \bar{x})$$\bar{x}$$x_{i}$

   Тоді можна було б уявити, що формула середньої відстані підсумовує все і ділиться на N:

   $$\frac{\sum(x_{i} - \bar{x})}{N}$$

   Але є проблема. Ми можемо легко бачити, наприклад. що 36,4 і 36,8 знаходяться на однаковій відстані від 36,6. але якщо поставити значення у формулу вище, отримаємо -0,2 і +0,2, а їх сума дорівнює 0, що не є тим, що ми хочемо.

   Як позбутися від знака? (У цьому пункті миряни зазвичай говорять "Прийняти абсолютне значення", і висловлюють думку про те, що "прийняття абсолютної величини є трохи штучним, який інший спосіб?"). Ми можемо квадратні значення! Тоді формула стає:

   $$\frac{\sum(x_{i} - \bar{x})^{2}}{N}$$

   Ця формула в статистиці називається "Варіантність". І це набагато краще, щоб оцінити поширення значень нашого термометра (або будь-якого іншого), ніж брати лише максимальну відстань.

4. Стандартне відхилення . Але все ж є ще одна проблема. Подивіться на формулу дисперсії. У квадраті наші одиниці вимірювання ... в квадраті. Якщо термометр вимірює температуру в ° C (або ° F), то наша похибка вимірюється в (або ). Як нейтралізувати квадрати? - Використовуйте квадратний корінь! ° F $°C^{2}$$°F^{2}$

   $$\sqrt{\frac{\sum(x_{i} - \bar{x})^{2}}{N}}$$

   Отже, тут ми приходимо до формули Стандартне відхилення, яку зазвичай позначають як . І це кращий спосіб оцінити точність нашого пристрою.$\sigma$

У цей момент мирянин розуміє досить чітко, як ми потрапили сюди і як працює стандартне відхилення / дисперсія. З цього моменту я зазвичай переходжу до правила 68–95–99,7, описуючи також вибірки та сукупність, стандартні похибки та умови стандартного відхилення тощо.

PS Важливість знати приклад розмови SD:

Скажімо, у вас є якийсь вимірювальний прилад, який коштував 1 000 000 $ . І це дає вам відповідь: 42. Ви вважаєте, хто платив 1 000 000 $ за 42? Фой! Один заплатив 1000 000 за точність цієї відповіді. Оскільки цінність - нічого не коштує без знання її Помилки. Ви платите за помилку, а не вартість. Ось хороший життєвий приклад.

У спільному житті ми в більшості випадків використовуємо лінійку для вимірювання відстані. Лінійка дає точність приблизно на один міліметр (якщо ви не в США). Що робити, якщо вам доведеться вийти за метри міліметра і щось виміряти з точністю 0,1 мм? - Ви, мабуть, скористалися суппором. Тепер легко перевірити, що найдешевша лінійка (але все ще з міліметровою точністю) коштує копійок, а хороший супорт коштує десяту частину долара. 2 величини ціни за 1 величину точності. І це дуже звичайно, скільки ви платите за помилку.

Я думаю, що ключовою фразою, яку слід використовувати при поясненні дисперсії та стандартного відхилення, є "міра поширення" . Найбільш базовою мовою дисперсія та стандартне відхилення говорять про те, наскільки добре розповсюджені дані. Щоб бути дещо точнішими, хоча вони все ще звертаються до мирян, вони говорять нам про те, наскільки добре дані розкинуті навколо середнього. Попутно зауважте, що середнє значення - це "міра розташування" . На закінчення пояснення мирянину слід підкреслити, що стандартне відхилення виражається в тих же одиницях, що і дані, з якими ми працюємо, і саме тому ми беремо квадратний корінь дисперсії. тобто два пов'язані між собою.

Я думаю, що це коротке пояснення дозволило б зробити це. Це, мабуть, дещо схоже на вступне пояснення підручника.

Я розглядаю дисперсію розподілу як момент інерції з віссю, що в середньому з розподілом і кожною масою, як 1. Ця інтуїція зробить абстрактне поняття конкретним.

Перший момент - це середня величина розподілу, а другий - дисперсія.

Довідка: Перший курс вірогідності 8-го видання

Я б назвав це середньою позитивною різницею від загальної середньої величини.