Логістична регресія або Т-тест?

Група людей відповідає на одне запитання. Відповідь може бути "так" або "ні". Дослідник хоче знати, чи пов’язаний вік з типом відповіді.

Асоціацію оцінювали шляхом логістичної регресії, де вік є пояснювальною змінною, а тип відповіді (так, ні) - залежною змінною. Окремо це було розглянуто шляхом обчислення середнього віку груп, які відповіли відповідно "так" і "ні", та проведення Т- тесту для порівняння засобів.

Обидва тести були виконані за порадами різних людей, і жоден з них не впевнений, яким правильним є шлях. З огляду на дослідницьке питання, що було б кращим тестом?

Для тестування гіпотез значення р були не значущими (регресія) та значущими (Т-тест). Вибірка становить менше 20 випадків.

Обидва тести неявно моделюють співвідношення вік-відповідь, але вони роблять це по-різному. Який вибрати, залежить від того, як ви вирішите моделювати ці відносини. Ваш вибір повинен залежати від основної теорії, якщо така є; про те, яку інформацію ви бажаєте отримати з результатів; і про те, як відбирається зразок. Ця відповідь обговорює ці три аспекти по порядку.

---

Я опишу t-тест і логістичну регресію за допомогою мови, яка передбачає, що ви вивчаєте чітко визначену сукупність людей і хочете зробити висновки з вибірки для цієї сукупності.

Щоб підтримати будь-який вид статистичного висновку, ми повинні вважати, що вибірка є випадковою.

• Т-тест передбачає, що люди у вибірці відповідають "ні" - це проста випадкова вибірка всіх не респондентів у популяції, і що люди у вибірці, що відповідають "так", є простою випадковою вибіркою всіх респондентів "так" населення.

  Т-тест дає додаткові технічні припущення щодо розподілу віків у межах кожної з двох груп у сукупності. Існують різні версії t-тесту для обробки ймовірних можливостей.

• Логістична регресія передбачає, що всі люди будь-якого віку є простою випадковою вибіркою людей цього віку в популяції. Окремі вікові групи можуть демонструвати різні показники відповідей "так". Ці показники, виражені у вигляді коефіцієнтів журналу (а не як прямі пропорції), вважаються лінійно пов'язаними з віком (або з деякими визначеними віковими функціями).

  Логістична регресія легко розширюється для забезпечення нелінійних зв'язків між віком та реакцією. Таке розширення може бути використане для оцінки правдоподібності початкового лінійного припущення. Це можливо для великих наборів даних, які надають достатньо деталей для відображення нелінійностей, але навряд чи будуть корисними для малих наборів даних. Загальне правило - про те, що моделі регресії повинні мати вдесятеро більше спостережень, ніж параметри - дозволяє припустити, що для виявлення нелінійності потрібні значно більше 20 спостережень (для отримання яких необхідний третій параметр на додаток до перехоплення та нахилу лінійної функції ).

Т-тест визначає, чи відрізняються середні віки між респондентами, які не мають відповіді та так. Логістична регресія оцінює, як рівень відповіді змінюється залежно від віку. Як такий, він більш гнучкий і здатний надати більш детальну інформацію, ніж тест-тест. З іншого боку, він, як правило, менш потужний, ніж t-тест, з основною метою виявити різницю між середнім віком у групах.

Пара тестів може демонструвати всі чотири комбінації значущості та несуттєвості. Дві з них є проблемними:

• T-тест не є важливим, але логістичний регрес є. Коли припущення обох тестів є правдоподібними, такий результат практично неможливий, оскільки t-тест не намагається виявити такий специфічний взаємозв'язок, як це викликано логістичною регресією. Однак, коли цей взаємозв'язок є достатньо нелінійним, щоб змусити старших та наймолодших суб'єктів ділитися однією думкою, а суб'єкти середнього віку - іншою, то розширення логістичної регресії на нелінійні відносини може виявити та кількісно оцінити цю ситуацію, яку жоден t-тест не міг би виявити. .

• T-тест є вагомим, але логістична регресія відсутня, як у питанні. Це часто трапляється, особливо коли є група молодих респондентів, група старших респондентів і мало людей між ними. Це може створити великий розрив між швидкістю відповідей "не" та "відповіді". Це легко виявляється за допомогою t-тесту. Однак логістична регресія матиме або порівняно мало детальної інформації про те, як реально змінюється частота відповідей із віком, або б вона мала непереконливу інформацію: випадок "повної розлуки", коли всі літні люди відповідають одним способом, а всі молодші люди - але в цьому випадку обидва тести зазвичай мали б дуже низькі значення p.

Зауважте, що експериментальна конструкція може визнати недійсними деякі тестові припущення. Наприклад, якщо ви вибирали людей відповідно до їх віку за стратифікованою конструкцією, то припущення t-тесту (що кожна група відображає просту випадкову вибірку віків) стає сумнівним. Цей дизайн запропонував би покластися на логістичну регресію. Якщо замість цього у вас було два пули, один із невідповідальних та один із відповідей так і вибраний випадковим чином з тих, щоб встановити їх вік, то припущення вибірки логістичної регресії сумнівні, тоді як тест t-тесту буде дотриманий. Цей дизайн запропонував би використовувати якусь форму t-тесту.

(Друга конструкція тут може здатися нерозумною, але в умовах, коли "вік" замінюється якоюсь характеристикою, яку важко, дорого чи забирати багато часу, це може бути привабливим.)

$t$$X$$Y$

$$X|Y=i \sim N(\mu_i,\sigma^2).$$ $Y \sim \operatorname{bernoulli}(p)$$Y$$X=x$ $$\begin{align} P(Y=1|X=x) &=\frac{f_{X|Y=1}(x)P(Y=1)}{\sum_{i=0}^1 f_{X|Y=i}(x)P(Y=i)} \\&=\frac{pe^{-\frac1{2\sigma^2}(x-\mu_1)^2}}{pe^{-\frac1{2\sigma^2}(x-\mu_1)^2} + (1-p)e^{-\frac1{2\sigma^2}(x-\mu_0)^2}} \\&=\frac1{1+\frac{1-p}pe^{-\frac1{2\sigma^2}(x-\mu_0)^2+\frac1{2\sigma^2}(x-\mu_1)^2}} \\&=\operatorname{logit}^{-1}(\beta_0 + \beta_1 x) \end{align}$$ $$\begin{align}\beta_0 &= \ln\frac p{1-p} -\frac1{2\sigma^2}(\mu_1^2-\mu_0^2) \\ \beta_1&=\frac1{\sigma^2}(\mu_1-\mu_0). \end{align}$$

So in this sense the two conditional models are compatible.

The better test is the the one that better addresses your question. Neither is just better on it's face. The differences here are equivalent to those found when regressing y on x and x on y and the reasons for different results are similar. The variance being assessed depends on which variable is being treated as the response variable in the model.

Your research question is terribly vague. Perhaps if you considered direction of causality you'd be able to come to a conclusion about which analysis you want to use. Is age causing people to respond "yes" or is responding "yes" causing people to get older? It's more likely the former, in which case the variance in the probability of a "yes" is what you wish to model and therefore the logistic regression is the best choice.

That said, you should examine assumptions of the tests. Those can be found online at wikipedia or in your text books on them. It may well be that you have good reasons not to perform the logistic regression and, when that happens you may need to ask a different question.