Чому заходи розсіювання менш інтуїтивні, ніж центральність?

Здається, у нашому людському розумінні є щось, що створює труднощі в інтуїтивному розумінні ідеї варіації. У вузькому розумінні відповідь негайна: квадратики відкидає нас від нашого рефлексивного розуміння. Але чи це лише дисперсія, яка представляє проблеми, чи це вся ідея поширення даних? Ми шукаємо притулку в полігоніабо просто зазначаючи мінімум і максимум, але ми просто уникаємо реальної складності? В середньому (режимі або медіані) ми знаходимо центр, резюме ... спрощення; дисперсія поширює речі навколо і робить їх незручними. Первісна людина, безумовно, використала б засіб у полюванні на тварин шляхом тріангуляції до молитви, але я припускаю, що набагато пізніше ми відчули необхідність кількісно оцінити поширення речей. Насправді термін дисперсія вперше був введений Рональдом Фішером зовсім недавно 1918 р. У статті "Кореляція між родичами щодо думки про менделівську спадщину".

Більшість людей, які стежать за новинами, чули б історію про нещасливу промову Ларрі Саммерса про математичні схильності за статтю , які, можливо, були пов'язані з його від'їздом із Гарварду. Коротше кажучи, він запропонував більш широку розбіжність у розподілі математичної компетенції серед чоловіків порівняно з жінками, хоча обидва статі мають однакове значення. Незалежно від доцільності чи політичних наслідків, це здається обґрунтованим у науковій літературі .

Що ще важливіше, можливо, розуміння таких питань, як зміна клімату - пробачте мене за те, що я підняв теми, які можуть призвести до абсолютно необов’язкових для дискусій - широким населенням, можливо, допоможе покращити ознайомлення з ідеєю дисперсії.

Проблема ускладнюється, коли ми намагаємось зрозуміти коваріантність, як показано в цьому дописі , де представлений чудовий і барвистий відповідь від @whuber тут .

Це може бути заманливо відкинути це питання як занадто загальне, але зрозуміло, що ми обговорюємо це опосередковано, як у цій публікації , де математика є тривіальною, але концепція продовжує невловимістю, будучи більш зручним прийняттям діапазону як на противагу більш нюансовій дисперсії ідеї .

У листі Фішера до EBFord , посилаючись на полеміку щодо його підозри щодо менделівських експериментів, ми читаємо: "Тепер, коли дані були підроблені, я дуже добре знаю, як правило люди недооцінюють частоту широких випадкових відхилень , так що тенденція завжди змушувати їх занадто добре погоджуватися з очікуваннями ... відхилення [за даними Менделя] шокуюче невеликі ". Великий Р. Фішер настільки зацікавлений у підозрі на невеликі відхилення в невеликих зразках, що він пише : "Залишається ймовірність, серед інших, що Мендель був обманутий якимсь помічником, який надто добре знав, що очікується".

І цілком можливо, що ця упередженість щодо заниження чи нерозуміння поширюється і сьогодні. Якщо так, то чи є якесь пояснення, чому нам зручніше поняття центральності, ніж дисперсія? Чи можемо щось зробити, щоб втілити ідею?

$\small e^{i\pi}+1=0$$\small E=mc^2$

Нассім Талеб заробив багатство, застосувавши своє (ну, справді, Бенуа Мандельброт ) сприйняття недосконалого розуміння варіативності до експлуатації кризових часів, і спробував зробити концепцію зрозумілою для мас за допомогою речень на кшталт: "Варіант дисперсії є, гносеологічно , міра браку знань про брак знань середнього "- так, є більше контексту для цього горла ... І на його честь, він також спростив ідею подяки Туреччини . Можна стверджувати, що ключовим для інвестування є розуміння дисперсії (та коваріації).

То чому це так слизько, і як це виправити? Без формул ... просто інтуїція років боротьби з невизначеністю ... Я не знаю відповіді, але це не математично (обов'язково, це є): наприклад, мені цікаво, чи не заважає ідея куртозу. На наступному сюжеті ми маємо дві гістограми, що перекриваються практично однаковою дисперсією; але реакція на моє коліно полягає в тому, що той, який має найдовші хвости, і найвищий пік (вищий куртоз), більш "розправлений":

Я поділяю ваше відчуття, що дисперсія трохи менш інтуїтивна. Що ще важливіше, дисперсія як міра оптимізована для певних розподілів і має меншу цінність для асиметричних розподілів. Середня абсолютна відмінність від середньої, на мій погляд, не набагато інтуїтивніша, оскільки вона вимагає вибору середнього рівня як міри центральної тенденції. Я вважаю за краще середня різниця Джині --- середня абсолютна різниця для всіх пар спостережень. Це інтуїтивно зрозуміло, надійно та ефективно. Щодо ефективності, якщо дані надходять із розподілу Гаусса, середня різниця Джині з відповідним коефіцієнтом масштабування, застосованим до неї, становить 0,98 настільки ж ефективно, як і стандартне відхилення вибірки. Існує ефективна формула обчислень для середньої різниці Джині після сортування даних. R код нижче.

w <- 4 * ((1:n) - (n - 1)/2)/n/(n - 1)
sum(w * sort(x - mean(x)))

Ось кілька моїх думок. Він не стосується кожного кута, з якого можна було б подивитися на ваше запитання, насправді є багато, на що він не звертається (питання здається трохи широким).

Чому непростим людям важко зрозуміти математичний розрахунок варіації?

Варіантність - це по суті те, наскільки розподілені речі. Це досить легко зрозуміти, але спосіб його обчислення може здатися протиінтуїтивним для непрофесіонала.

Проблема полягає в тому, що відмінності від середньої величини розміщуються у квадраті (потім усереднюються), а потім укорінюються у квадрат, щоб отримати Стандартне відхилення. Ми розуміємо, чому цей метод необхідний - квадратування полягає в тому, щоб значення були позитивними, а потім вони були прямокутними, щоб отримати вихідні одиниці. Однак, лайперсон , швидше за все, плутатиметься з тим, чому числа є квадратними та укоріненими. Це здається, що воно скасовує себе (це не так), що здається безглуздим / дивним.

Більш інтуїтивно зрозумілим для них є пошук розкиду шляхом просто усереднення абсолютних різниць між середньою та кожною точкою (називається середнім абсолютним відхиленням). Цей метод не вимагає квадратування та прямокутного вкорінення, тому набагато інтуїтивніший.

Зауважте, що те, що середнє абсолютне відхилення є більш простим, не означає, що воно "краще". Дебати про те, чи варто використовувати значення «Квадрати» або «Абсолютні», ведуться вже століття, в яких беруть участь багато видатних статистиків, тому випадкова людина, як я, не може просто з’явитися тут і сказати, що краще. (Усереднення квадратів для пошуку варіації, звичайно, більш популярне)

Коротше кажучи: Квадратура для пошуку дисперсії здається менш інтуїтивно зрозумілою для людей, які вважають, що усереднення Абсолютних відмінностей є більш простим. Однак я не думаю, що люди мають проблеми з розумінням ідеї поширення себе

Ось випливає моя думка щодо вашого питання.

Почну з опитування вищезгаданої відповіді, а потім спробую висловити свою думку.

Запитання до попередньої гіпотези:

Це насправді квадрати важко зрозуміти міри дисперсії, такі як «Середнє відхилення»? Я погоджуюсь, що квадратик ускладнює складність математичної складності, але якби відповідь була лише квадратами, середнє абсолютне відхилення було б таким же простим для розуміння та міри центральності.

Висновок:

Я думаю, що для нас важко зрозуміти міри дисперсії, це те, що сама дисперсія є двовимірною інформацією. Спроба узагальнити двовимірну інформацію в одній метриці передбачає часткову втрату інформації, що, як наслідок, викликає плутанину.

Приклад:

Приклад, який може допомогти пояснити поняття вище, наведений нижче. Давайте отримаємо 2 різних набори даних:

1. Слідкує за розподілом Гаусса
2. Слідує невідомому та асиметричному розподілу

Припустимо також, що дисперсія в перерахунку на стандартне відхилення становить 1,0.

Мій розум схильний інтерпретувати дисперсію множини 1 набагато чіткіше, ніж у множини 2. У цьому конкретному випадку причина мого кращого розуміння пояснюється знанням 2-мірної форми розподілу заздалегідь, що дозволяє мені зрозуміти міру розподілу в умови ймовірності навколо централізованого середнього гаусса. Іншими словами, розподіл Гаусса дав мені двовимірний натяк, який мені потрібен для кращого перекладу з міри дисперсії.

Висновок:

Підсумовуючи, немає жодного відчутного способу зафіксувати в одному заході відхилення все, що є, у двовимірній інформації. Що я зазвичай роблю для розуміння дисперсії, не дивлячись безпосередньо на сам розподіл, - це поєднувати безліч заходів, що пояснюють певний розподіл. Вони встановлять контекст для мого розуму, щоб краще зрозуміти саму дисперсійну міру. Якщо я міг би скористатися графіками, звичайно, графічні коробки справді корисні для його візуалізації.

Чудова дискусія, яка змусила мене багато подумати над цим питанням. Я був би радий почути вашу думку.

Я думаю, що простою причиною того, що людям важче змінюватись (будь то дисперсія, стандартне відхилення, MAD чи інше), є те, що ти не можеш реально зрозуміти мінливість, поки не зрозумієш ідею центру. Це відбувається тому, що всі мінливості вимірюються на основі відстані від центру.

Поняття, як середнє та медіанне, є паралельними поняттями, ви могли б навчитися або одного першого, і деякі люди можуть краще зрозуміти одне, а інші люди зрозуміють інших краще. Але спред вимірюється від центру (для деякого визначення центру), тому його реально зрозуміти спочатку не можна.