Чи дійсно результати тестів відповідають нормальному розподілу?

14

Я намагався дізнатися, які дистрибутиви використовувати в GLM, і я трохи заплутався, коли використовувати звичайний розподіл. В одній частині мого підручника написано, що нормальний розподіл може бути корисним для моделювання балів на іспитах. У наступній частині він запитує, який розподіл було б доречним для моделювання претензії на страхування автомобіля. Цього разу було сказано, що відповідними дистрибутивами будуть Гамма або Зворотна Гаусса, оскільки вони безперервні лише з позитивними значеннями. Ну, я вважаю, що бали на іспитах також були б суцільними лише з позитивними значеннями, то чому б ми використовували там нормальний розподіл? Чи нормальний розподіл не передбачає негативних значень?

— mistersunnyd
джерело

1

Якщо ви хвилюєтесь щодо меж результатів, ви можете спробувати en.wikipedia.org/wiki/Truncated_normal_distribution

— JG

6

У реальному світі, звичайно, розподіл бальних іспитів часто так чи інакше не схожий на звичайний розподіл. Як приклад з моїх математичних днів, я пам’ятаю, що я класифікував « Топологію», як дуже відомий своїм високобімодальним розподілом класів «гантелі»: ви або зрозуміли ключові поняття та отримали майже ідеальну оцінку, або ви цього не зробили пощастило отримати будь-які очки взагалі. Дуже мало людей закінчилися забивати будь-де посередині між цими двома крайнощами.

— Ільмарі Каронен

2

Ні. Наступне запитання.

— Карл Віттофт

14

Наприклад, висота часто моделюється як нормальна. Можливо, зріст чоловіків чимось схожий на 5 футів 10 при стандартному відхиленні в 2 дюйма. Ми знаємо, що негативна висота нефізична, але за цією моделлю ймовірність спостерігати за негативною висотою по суті дорівнює нулю. Ми використовуємо модель у будь-якому випадку, тому що це досить хороше наближення.

Усі моделі неправильні. Питання полягає в тому, "чи може ця модель все-таки бути корисною", і в тих випадках, коли ми моделюємо такі речі, як висота і тестові показники, моделювання явища як нормального є корисним, незважаючи на те, що це технічно допускає нефізичні речі.

— Деметрі Пананос
джерело

У цьому конкретному випадку сумнівно, чи нормальний розподіл є навіть корисним наближенням. Майже кожен розподіл сортів, який я бачив, певною мірою нагадував бімодальну криву Ільмарі Каронен, про яку йдеться у коментарях. (Хоча зазвичай з режимами близько 0,6 і 0,9, а не на крайніх кінцях) Однак лінійне поєднання двох нормальних розподілів з різними засобами не було б поганим наближенням.

— Рей

Я не сперечався, що нормальне - НАЙКРАЩЕ наближення. Вся суть мого коментаря справді викладена в тому останньому абзаці. Коментарі про бімодальність фактичних розподілів класів, принаймні на цьому рівні абстракції, насправді не корисні.

— Деметрі Пананос

Я погоджуюся з усім, що ви сказали у своїй відповіді, але частина питання стосується того, чи нормальний розподіл застосовується спеціально для моделювання розподілів класів. І відповідь на це, як правило, "Ні". Усі моделі неправильні, а деякі моделі корисні, але деякі - більш неправильні та менш корисні, ніж інші. Те, що нормальний розподіл, зокрема, є особливо поганим пристосуванням до цієї проблеми, є важливим, і відповідь, оскільки, здається, дозволяє припустити, що нормальне є лише неправильним, оскільки хвости йдуть негативно і нескінченно, коли насправді є набагато глибші проблеми.

— Рей

Ти тут трохи педантичний. Проблема ОП полягала в тому, що нормальне враховує негативні бали. Бімодальність не була проблемою. Ви не бачите лісу для дерев стосовно цього питання. Деталі моделювання зараз не актуальні.

— Деметрі Пананос

10

Чи нормальний розподіл не передбачає негативних значень?

Правильно. Він також не має верхньої межі.

В одній частині мого підручника написано, що нормальний розподіл може бути корисним для моделювання балів на іспитах.

Незважаючи на попередні твердження, все ж іноді це буває. Якщо у вас є багато компонентів для тесту, не надто сильно пов’язаних (наприклад, у вас по суті не те саме запитання десяток разів, ні у тому, що кожна частина вимагає правильної відповіді на попередню частину), і не дуже проста або дуже жорстка ( так що більшість знаків десь біля середини), то позначення часто можуть бути досить добре наближені нормальним розподілом; часто досить добре, що типові аналізи повинні викликати мало занепокоєння.

Ми точно знаємо, що вони не є нормальними , але це автоматично не є проблемою - доки поведінка процедур, які ми використовуємо, досить близька до того, якою вона повинна бути для наших цілей (наприклад, стандартні помилки, інтервали довіри, рівні значущості і влада - що б там було потрібно - робити близько до того, що ми їх очікуємо)

У наступній частині він запитує, який розподіл було б доречним для моделювання претензії на страхування автомобіля. Цього разу було сказано, що відповідними дистрибутивами будуть Гамма або Зворотна Гаусса, оскільки вони безперервні лише з позитивними значеннями.

Так, але більше того - вони, як правило, сильно правильні перекоси і мінливість, як правило, збільшується, коли середня величина збільшується.

Ось приклад розподілу розміру претензії до транспортних засобів:

https://ars.els-cdn.com/content/image/1-s2.0-S0167668715303358-gr5.jpg

(Рис. 5 від Garrido, Genest & Schulz (2016) "Узагальнені лінійні моделі для залежної частоти та тяжкості страхових претензій", Страхування: Математика та економіка, Том 70, вересень, с205-215. Https: //www.sciencedirect. com / наука / стаття / pii / S0167668715303358 )

Це показує типовий правий косий і важкий правий хвіст. Однак ми повинні бути дуже обережними, тому що це граничний розподіл, і ми пишемо модель умовного розподілу, яка, як правило, набагато менше перекосів (граничний розподіл ми дивимось, якщо ми просто робимо гістограму розмірів претензії як суміш цих умовних розподілів). Тим не менш, зазвичай так буває, що якщо ми подивимось на розмір претензії в підгрупах предикторів (можливо, категоризуючи безперервні змінні), то розподіл все ще є сильним правим перекосом і досить важким хвостом справа, що дозволяє припустити, що щось на зразок гамма-моделі * ймовірно, буде набагато більш придатною, ніж модель Гаусса.

* може бути будь-яка кількість інших розподілів, які були б більш придатними, ніж гауссові - інший вибір - обернений гаусс, хоча і менш поширений; Лонормальні або Weibull моделі, хоча вони не є GLM, як вони стоять, також можуть бути дуже корисними.

[Рідко буває так, що будь-який з цих розподілів є майже ідеальним описом; вони неточні наближення, але у багатьох випадках достатньо хороші, щоб аналіз був корисним і наближався до бажаних властивостей.]

Ну, я вважаю, що бали на іспитах також були б суцільними лише з позитивними значеннями, то чому б ми використовували там нормальний розподіл?

Тому що (за умов, про які я згадував раніше - безліч компонентів, не надто залежних, не важких чи легких) розподіл має тенденцію бути досить близьким до симетричного, одномодульного і не важкохвостим.

— Glen_b -Встановити Моніку
джерело

0

Оцінки на іспитах можуть бути краще змодельовані біноміальним розподілом. У дуже спрощеному випадку у вас може виникнути 100 правдивих / хибних питань, кожне вартістю 1 бал, тож оцінка буде цілим числом від 0 до 100. Якщо ви вважаєте, що немає кореляції між правильністю тестувальника від проблеми до проблеми (сумнівне припущення, хоча ), оцінка є сумою незалежних випадкових величин, і застосовується теорема центрального граничного значення. Зі збільшенням кількості запитань частка правильних задач переходить до нормального розподілу.

Ви ставите гарне запитання щодо значень менше 0. Ви також можете задати те саме питання щодо значень, що перевищують 100%. Зі збільшенням кількості тестових запитань дисперсія суми зменшується, тож пік підтягується до середнього. Аналогічно, найкраще нормальний розподіл матиме меншу дисперсію, а вага pdf за межами інтервалу [0, 1] має тенденцію до 0, хоча це завжди буде ненульовим. Простір між можливими значеннями "правильної дроби" також зменшиться (1/100 на 100 запитань, 1/1000 на 1000 запитань тощо), тому неофіційно pdf починає поводитись все більше і більше, як безперервний pdf.

— elplatt
джерело