Відмінності визначення куртозу та їх інтерпретація

Нещодавно я зрозумів, що існують відмінності у значеннях куртозу, передбачені SPSS та Stata.

Дивіться http://www.ats.ucla.edu/stat/mult_pkg/faq/general/kurtosis.htm

Я розумію, що інтерпретація того ж була б іншою.

Будь-яка порада, як з цим боротися?

— Cesare Camestre
джерело

Я знав про перші дві формули, і їх досить легко відрізнити; Я не бачив тієї третьої формули.

— Пітер Флом

Відповіді:

Три формули

Три формули куртозу зазвичай використовуються різними програмами. Я наведу всі три формули ( , і ) та програми, які їх використовують. $g_{2}$ $G_{2}$ $b_{2}$

Перша формула і типове визначення , що використовується в багатьох підручниках (це друга формула на засланні ви умова) депозначаємоменти вибірки:

г_{2} = \frac{м_{4}}{м_{2}^{2}}

$g_{2}=\frac{m_{4}}{m_{2}^{2}}$

m_{r}

$m_{r}$

м_{r} = \frac{1}{н} \sum (х_{i} - \bar{х})^{r}

$m_{r}=\frac{1}{n}\sum(x_{i}-\bar{x})^{r}$

Іноді до цієї формули додається термін корекції -3, щоб нормальний розподіл мав куртоз 0. Формула куртозу з терміном -3 називається надлишковим куртозом (перша формула в посиланні, яке ви надали).

Друга формула в (використовується SAS, SPSS і MS Excel, це третя формула на засланні ви надали)

G_{2} = \frac{k_{4}}{k_{2}^{2}} = \frac{n - 1}{(n - 2) (n - 3)} [(n + 1) g_{2} + 6]

$G_{2} = \frac{k_{4}}{k_{2}^{2}}= \frac{n-1}{(n-2)(n-3)}\left[(n+1)g_{2}+6\right]$

де - куртоз, визначений у першій формулі. $g_{2}$

Третя формула є (використовується Minitab і BMDP)

b_{2} = \frac{m_{4}}{s^{4}} - 3 = {(\frac{n - 1}{n})}^{2} \frac{m_{4}}{m_{2}^{2}} - 3

$b_{2}=\frac{m_{4}}{s^{4}}-3=\left(\frac{n-1}{n}\right)^{2}\frac{m_{4}}{m_{2}^{2}}-3$

де - неупереджена вибіркова проба : $s^2$

с^{2} = \frac{1}{н - 1} \sum (х_{i} - \bar{х})^{2}

$s^2=\frac{1}{n-1}\sum(x_{i}-\bar{x})^2$

У Rкуртозі можна обчислити, використовуючи kurtosisфункцію з e1071пакета (посилання тут ). Параметр typeвизначає, яка з трьох формул використовується для обчислень (1 = , 2 = , 3 = ). $g_{2}-3$ $G_{2}$ $b_{2}$

Ці два документи обговорюють та порівнюють усі три формули: першу , другу .

Підсумок відмінностей між формулами

Використовуючи , нормальний розподіл має значення куртозу 3, тоді як у формулах, що містять корекційний термін -3 (тобто і ), нормальний розподіл має надлишковий куртоз 0. $g_{2}$ $G_{2}$ $b_{2}$
-єдина формула, яка даєнеупереджені оцінкидля нормальних зразків(тобто очікування при нормальності дорівнює нулю, або ). $G_{2}$ $G_{2}$ $\mathbb{E}(G_{2})=0$
Для великих зразків різниця між формулами незначна, а вибір не має великого значення.
Для малих вибірок із звичайного розподілу відношення трьох формул за середньою квадратичною помилкою (MSE) становить: . Отже, має найменший, а - найбільший (хоча лише є неупередженим). Це тому, що має найбільшу дисперсію з трьох формул: $\operatorname{mse}(g_{2})<\operatorname{mse}(b_{2})<\operatorname{mse}(G_{2})$ $g_{2}$ $G_{2}$ $G_{2}$ $G_{2}$ . $\operatorname{Var}(b_{2})<\operatorname{Var}(g_{2})<\operatorname{Var}(G_{2})$
Для малих вибірок з ненормальних розподілів відношення трьох формул за зміщенням є: . З точки зору середніх квадратів erorrs: . Отже, має найменшу середню похибку у квадраті та найменший зміщення трьох формул. $\operatorname{bias}(G_{2})<\operatorname{bias}(g_{2})<\operatorname{bias}(b_{2})$ $\operatorname{mse}(G_{2})<\operatorname{mse}(g_{2})<\operatorname{mse}(b_{2})$ $G_{2}$ $b_{2}$ має найбільшу середню квадратичну помилку та ухил.
Для великих зразків ( ) з ненормальних розподілів $n>200$ співвідношення трьох формул з точки зору зміщення становить: . З точки зору середніх квадратів erorrs: . $\operatorname{bias}(G_{2})<\operatorname{bias}(g_{2})<\operatorname{bias}(b_{2})$ $\operatorname{mse}(b_{2})<\operatorname{mse}(g_{2})<\operatorname{mse}(G_{2})$

Дивіться також сторінку Вікіпедії та сторінку MathWorld про куртоз.

— COOLSerdash
джерело

Я б назвав це приємною, чіткою інтерпретацією "звичайної історії". Додам, що терміни лептокуртичний, мезокуртичний, платикуртичний - це лише багаж, який ми повинні залишити після себе у 20 столітті: у нас є міра, про яку слід думати кількісно. Більш серйозно, інтерпретація, що досягається, порівняно з плоским покриттям, просто не справедливо для великої різниці в можливих формах розподілу, навіть тих, які всі симетричні. Нарешті, упередження на практиці не сильно кусається, якщо ви не граєте з невідповідно маленькими зразками, але дисперсія справді є!

— Нік Кокс

Не могли б ви уточнити підсумковий пункт №2? Очевидно, що

є вибірковою статистикою, але очевидно, що вона не є ідентично нульовою для будь-якого, крім виродженого розподілу. Можливо, ви мали намір сказати, що її очікування дорівнює нулю? (BTW, що таке "

" у його формулі?

можливо?)

G_{2}

$G_2$

γ_{2}

$\gamma_2$

g_{2}

$g_2$

— whuber

@whuber: Так, звичайно, очікування

дорівнює нулю.

був реліктом від раніше відповіді і повинні бути

(зараз змінилося); Свою відповідь я досить сильно відредагував.

G_{2}

$G_{2}$

γ_{2}

$\gamma_{2}$

g_{2}

$g_{2}$

— COOLSerdash

Гаразд, краще виглядає. Я підтримаю це, але сподіваюся, ви врешті-решт видалите цю фразу "Для нормального розподілу

G_{2} = 0

$G_2=0$

— whuber

Посилання, про яке йдеться, також говорить про SAS. Але насправді ніщо в цьому питанні, окрім, можливо, власного фокусу плаката, не обмежує це лише названими програмами.

Я думаю, що нам тут потрібно виділити досить різні проблеми, деякі з яких є ілюзорними, а деякі - справжніми.

Деякі програми роблять, а деякі ні, віднімають 3 так, що повідомляється міра куртозу 3 для гауссових / нормальних змінних без віднімання і 0 з відніманням. Я бачив людей, які спантеличені цим, часто, коли різниця виявляється 2,999, а не точно 3.
Деякі програми використовують корекційні коефіцієнти, призначені для того, щоб оцінити куртоз без упередженості. Ці поправочні коефіцієнти підходять до 1, оскільки розмір вибірки збільшується. Оскільки куртоз недостатньо добре оцінений у невеликих пробах, це не повинно викликати особливих проблем. $n$

Отже, існує невелика проблема формул: №1 набагато більша, ніж №2, але обидві незначні, якщо їх розуміють. Порада чітко полягає в тому, щоб переглянути документацію програми, яку ви використовуєте, і якщо немає документації, яка б пояснила таку деталь, негайно відмовитися від цієї програми. Але тест, такий простий, як змінна (1, 2), дає куртоз 1 або 4 залежно від №1 поодинці (без коригуючого коефіцієнта).

Тоді питання задається інтерпретацією, але це набагато більш відкрита і суперечлива справа.

Перш ніж ми перейдемо до основної області обговорення, часто повідомляється, але маловідома труднощі полягає в тому, що оцінки куртозу обмежені як функція від розміру вибірки. Я написав огляд у Cox, NJ 2010. Межі спотвореності та куртозу зразків. Статистичний журнал 10 (3): 482-495. http://www.stata-journal.com/article.html?article=st0204

Анотація: Скісність і куртоз зразків обмежені функціями розміру вибірки. Межі або наближення до них неодноразово були повторно виявлені протягом останніх кількох десятиліть, але, однак, вони залишаються лише маловідомими. Межі надають упередженості оцінці і, в крайньому випадку, означають, що жоден зразок не міг би точно свідчити про його батьківський розподіл. Основні результати пояснюються в навчальному огляді, а також показано, як Stata та Mata можуть використовуватися для підтвердження та дослідження їх наслідків.

Тепер до того, що зазвичай вважається суть справи:

Багато людей перекладають куртоз як пік, але інші наголошують, що він часто служить мірою ваги хвоста. Насправді обидві інтерпретації можуть бути обома розумними формулюваннями для деяких розповсюджень. Майже неминуче не існує простого словесного тлумачення куртозу: наша мова недостатньо багата на порівняння сум четвертих потужностей відхилень від середніх та сум другої сили однакових.

У незначній і часто недооціненій класиці Ірвінг Капланський (1945а) звернув увагу на чотири приклади розподілів з різними значеннями куртозу та поведінки, не узгоджуваних з деякими дискусіями про куртоз.

$x$ $c = \sqrt{\pi}$

$(1)\ \ \ (1 / 3c) (9/4 + x^4) \exp(-x^2)$

$(2)\ \ \ (3 / (c \sqrt8)) \exp(-x^2 / 2) - (1 / 6c) (9/4 + x^4) \exp(-x^2)$

$(3)\ \ \ (1 / 6c) (\exp(-x^2 / 4) + 4 \exp(-x^2))$

$(4)\ \ \ (3 \sqrt3 / 16c) (2 + x^2) \exp(-3x^2 / 4)$

$\approx$

Навчально побудувати ці щільності. Користувачі статистики можуть завантажувати мою kaplanskyпрограму з SSC. Використання логарифмічної шкали для щільності може допомогти.

Не даючи повних деталей, ці приклади підривають будь-яку просту історію про те, що низький чи високий куртоз має чітку інтерпретацію з точки зору піку або навіть будь-якого іншого одиничного контрасту.

Якщо ім’я Ірвінга Капланського дзвонить у дзвін, це, мабуть, тому, що ви знаєте його роботи в сучасній алгебрі. Він (1917-2006) був канадським (пізніше американським) математиком, навчався та досліджував у Гарварді, Чикаго та Берклі, з військовим роком у групі прикладної математики Національної ради оборони при Колумбійському університеті. Капланський зробив великий внесок у теорію груп, теорію кілець, теорію алгебр операторів та теорію поля. Він був досвідченим піаністом і ліриком, захопленим і чітким викривачем математики. Зазначимо також деякі інші внески у ймовірність та статистику Капланського (1943, 1945b) та Капланського та Ріордана (1945).

Капланський, І. 1943. Характеристика нормального розподілу. Літописи математичної статистики 14: 197-198.

Капланський, І. 1945а. Поширена помилка, що стосується куртозу. Журнал, Американська статистична асоціація 40: 259.

Капланський, І. 1945б. Асимптотичний розподіл прогонів послідовних елементів. Літописи математичної статистики 16: 200-203.

Капланський, І. та Ріордан, Дж. 1945. Множинне узгодження та запуски символічним методом. Літописи математичної статистики 16: 272-277.

— Нік Кокс
джерело

+1 Цікаві коментарі про Капланського, з алгебраїчною роботою якого я давно знайомий.

— whuber

Нік, ваш коментар "Насправді, обидві інтерпретації (піковість і хворобливість) можуть бути обом розумним формулюванням для деяких розповсюджень". невірно, тому не корисно, просто тому, що куртоз нічого не говорить про "пік". Серйозно, чи можна навіть визначити, що означає "пік"? І, якщо я можу, наступні дії: Враховуючи ваше визначення "піку" (якщо припустити, що ви можете придумати його), як це, математично, пов'язане з куртозом?

— Пітер Вестпад

@ Peter Westfall Якщо ми можемо погодитись, що куртоз - це те, що визначає куртоз, то мій аргумент - це лише аргумент Капланського, який ґрунтується на конкретних кривих та числових результатах, а не на словесному спарингу, тобто, що вищий куртоз іноді йде з більшою піковою щільністю, і навпаки нижній куртоз. Я зовсім не частковий до терміну пік, і коли я зобов’язаний спростити словесно, схильний стверджувати, що на практиці куртоз - це переважно історія ваги хвоста. Я думаю, що формули тут роблять всю роботу і несуть всю статистичну вагу і вважають словесну полеміку менш корисною.

— Нік Кокс

До того ж, я пропоную, не може бути легкої характеристики куртозу, за винятком цілком симетричних розподілів. Я не думаю, що ніхто взагалі не зобов'язаний визначати вершину; Визначення, яке існує, - це куртоз, а практичні питання - як думати про це та наскільки він корисний.

— Нік Кокс

Заява "просто тому, що куртоз нічого не говорить про пік", сам по собі є необгрунтованим. Пропущені посилання, безумовно, включають ваш документ у TAS, який доступний зацікавленим людям для розгляду вашої тривалої дискусії.

— Нік Кокс