Читання сюжетів із коробкою і вусами: чи можна помітити суттєві відмінності між групами?

Припустимо, ми дивимося на цей сюжет про бокси й вуса:

Між четвергом і п’ятницею, я думаю, більшість погодиться, мабуть, є значна різниця у спаному часі. Це, однак, статистично достовірна думка? Чи можемо ми помітити суттєві відмінності через те, що жоден внутрішній квартальний діапазон не перетинається між четвергом та п’ятницею? А що з тим, що верхня і нижня вуса четверга і п’ятниці відповідно перетинаються? Чи впливає це на наш аналіз?

Зазвичай супровід такої діаграми був би якоюсь ANOVA, але мені просто цікаво, скільки ми можемо сказати про відмінності між групами, просто подивившись на коробку .

Ні, ти не можеш. Якби у вас були розміри вибірки та багато досвіду, ви могли б здогадатися - а точність вашої здогадки залежатиме (крім розміру ефекту) від розміру вибірки. Якщо N = 1 000 000 на групу, велике значення. Якщо N = 10 на групу, не так багато. На 100 в групі важче здогадатися.

Я б заперечував, що це гарна річ. Справа з графіком поля - це не намагатися вгадати статистичну значимість, а подивитися на те, що відбувається, і спробувати обґрунтувати це. Хм. Більше спить у вихідні дні. Це цікаво, але насправді не дивно. Ми могли б моделювати години сну як функцію вихідних проти. Або ми могли б спробувати побачити, чи змінюється ця модель. Можливо, пенсіонери не мають такого шаблону? А як щодо змінних працівників? Люди, які працюють у вихідні дні? Люди, які працюють 7 днів на тиждень?

Як мій улюблений професор середньої школи (Герман Фрідман) казав: "Перестаньте займатися дослідженнями!"

Так, ти можеш. Принаймні, в приблизному сенсі.

Я окреслюю, як нижче (і справді є стосунок до "перекриття коробки", як ви пропонуєте), а також деякі застереження та обмеження. Але спочатку давайте обговоримо кілька попередніх записів для деякого передумови та контексту. (Я думаю, що відповідна відповідь тут повинна зосереджуватися не на деталях прикладу - хоча це, можливо, заслуговує на деяку згадку як осторонь, - але на центральному питанні використання скриньки для оцінки того, чи можна очевидні відмінності легко пояснити як випадкові зміни чи ні .)

Якщо у вас є доступ до даних, ви можете намалювати зубчасті коробки , призначені для подібного візуального порівняння.

Там в обговорення зубчастих розрахунків boxplot тут . Якщо інтервали висівок не перетинаються, дві групи, що порівнюються, приблизно рівні на рівні 5%; обчислення базуються на нормальних обчисленнях, але вони досить надійні і працюють досить добре в різних розподілах. (Якщо це розглядається як формальний тест, потужність не є настільки високою при нормальній, але це має бути досить добре для різних більш-менш "типових" важких хвостів.)

З огляду на те, як працюють зубчасті коробки, ви можете розпізнати швидке правило, яке буде працювати, коли у вас буде лише дисплей, як у запитанні. Коли розмір зразка дорівнює 10, а медіана розміщується близько до середини коробки, виїмки в зубчастій коробці зрізуються приблизно на ширину коробки, тому виїмки і ящик знаходяться приблизно в одному місці.

$n=10$

$n=10$

$n=9$$n=10$

$n=10$$n=10,10$$n=9,9$$n=8,8$

$n$$\sqrt{n}$$n=40$

Дивлячись на вашу ділянку:

Зауважимо, що з появи сюжету у питанні ми можемо сказати, що розміри вибірки повинні бути не менше 5; якби їх було менше 5, окремі зразки скриньки мали б чіткі підказки, що вони були з меншим розміром зразка (наприклад, медіани були мертвим центром кожної коробки, або вуса довжиною 0, коли був чужак).

Як варіант, якщо поля (маркування квартілів) не перетинаються один з одним і розмір вибірки становить щонайменше 10, то дві групи, що порівнюються, повинні мати різні медіани на рівні 5% (розглядаються як єдине попарне порівняння).

$n$$n=5$

[Зауважте, що це не враховує кількість порівнянь, тому якщо ви робите кілька порівнянь, ваша загальна помилка типу I буде більшою. Він призначений для візуального огляду, а не для формального тестування; тим не менш, ідеї, що займаються, можуть бути адаптовані до більш формального підходу, включаючи коригування для кількох порівнянь.]

Звернувшись, чи можете ви , було б розумно подумати, чи слід . Можливо, ні; питання про потенційне хакерство справжнє, але якщо ви використовуєте це для того, щоб з'ясувати, чи, наприклад, продовжувати збирати нові дані з проблеми дослідження, і все, що у вас є, - це явна робота в документі - скажіть - це може бути досить корисно, щоб можна було зробити деяку оцінку того, чи є там більше, ніж можна легко пояснити варіацією через шум. Але розглянути це питання глибоко, було б справді відповісти на інше питання.