Як порівнюється сила логістичної регресії та t-тесту?

Чи сила логістичної регресії та еквівалент t-тесту? Якщо це так, вони повинні бути "еквівалентом щільності даних", під яким я маю на увазі, що однакова кількість базових спостережень дає ту саму потужність за умови фіксованої альфа-0,05. Розглянемо два випадки:

1. [Параметричний t-тест]: робиться 30 малюнків із біноміального спостереження та отримані значення усереднюються. Це робиться 30 разів для групи А (яка має біноміальний Pr в розмірі 70, що зустрічається) і 30 разів для групи B (у якої біноміальний Pr - 75 г, що виникає). Це дає 30 засобів на групу, що представляють підсумок 1800 креслень з біноміального розподілу. Для порівняння засобів проводиться t-тест 58df.
2. [Логістична регресія]: Логістична регресія виконується з кодувальним нахилом, що кодує зображення, що представляє членство в групі і кожен з 1800 розіграшів.

Моє запитання складається з двох частин:

1. Враховуючи набір альфа 0,05, чи буде сила цих методологій однаковою чи різною? Чому? Як я можу це довести?
2. Чи є відповідь на питання 1 чутливим до розмірів вибірки, що переходить до t-випробування, розміру вибірки кожної групи в t-тесті, базових біноміальних ймовірностей чи до якогось іншого фактору? Якщо так, то як я можу знати (без моделювання), що влада насправді інша і які зміни призведуть до змін у владі? Крім того, надайте відпрацьований код R, який вирішує проблему за допомогою моделювання.

Якщо я правильно обчислив, логістична регресія асимптотично має ту саму потужність, що і t-тест. Щоб побачити це, запишіть її ймовірність журналу та обчисліть очікування його Гессіана на його глобальному максимумі (його негативні оцінки матриці дисперсії та коваріації рішення ML). Не турбуйтеся зі звичайною логістичною параметризацією: простіше просто параметризувати її за допомогою двох імовірностей. Деталі залежатимуть від того, як саме ви перевірите значення коефіцієнта логістичної регресії (існує кілька методів).

Те, що ці тести мають подібні потужності, не повинно бути занадто дивним, оскільки теорія хі-квадрата для оцінок ML заснована на нормальному наближенні до ймовірності журналу, а t-тест базується на нормальному наближенні до розподілів пропорцій. Суть у тому, що обидва методи роблять однакові оцінки двох пропорцій, і обидві оцінки мають однакові стандартні помилки.

---

Фактичний аналіз може бути більш переконливим. Візьмемо загальну термінологію для значень у певній групі (А або В):

• $p$ - ймовірність a 1.
• $n$ - розмір кожного набору малюнків.
• $m$ - кількість наборів малюнків.
• $N = m n$ - кількість даних.
• 0 1 j th i $k_{ij}$ (дорівнює або ) - це значення результату у наборі набору малюнків.$0$$1$$j^\text{th}$$i^\text{th}$
• i $k_i$ - загальна кількість одиниць у наборі малюнків.$i^\text{th}$
• $k$ - загальна кількість одиниць.

Логістична регресія - це, по суті, Оцінювач ML з . Його логарифм подано$p$

$$\log(\mathbb{L}) = k \log(p) + (N-k) \log(1-p).$$

Його похідні щодо параметра є$p$

$$\frac{\partial \log(\mathbb{L})}{ \partial p} = \frac{k}{p} - \frac{N-k}{1-p} \text{ and}$$

$$-\frac{\partial^2 \log(\mathbb{L})}{\partial p^2} = \frac{k}{p^2} + \frac{N-k}{(1-p)^2}.$$

Встановлення першого до нуля дає оцінку ML і підключення цього до зворотного другого виразу дає дисперсію , що є квадратом стандартної помилки. р (1 - р )/${\hat{p} = k/N}$$\hat{p}(1 - \hat{p})/N$

Т статистика буде отримана з оцінок , заснованих на даних , згрупованих наборами дро; а саме як різниця засобів (один із групи А, а інший із групи В) ділиться на стандартну похибку цієї різниці, яку отримують із стандартних відхилень засобів. Давайте тоді розглянемо середнє та стандартне відхилення для даної групи. Середнє значення дорівнює , що ідентично оцінювачу ML . Розглянуте стандартне відхилення - це стандартне відхилення засобів тяги; тобто це стандартне відхилення множини . Тут суть справи, тому давайте вивчимо деякі можливості.р до я /$k/N$$\hat{p}$$k_i/n$

1. Припустимо , що дані не згруповані в дро взагалі: тобто, і . є нічиїми кошти. Їх вибіркова дисперсія дорівнює разів . З цього випливає, що стандартна помилка ідентична стандартній помилці ML, крім фактора , який по суті є коли . Тому - окрім цієї крихітної різниці - будь-які тести, засновані на логістичній регресії, будуть такими ж, як t-тест, і ми досягнемо по суті тієї ж потужності.м = N K I N / ( N - 1 ) р ( 1 - р ) $n = 1$$m = N$$k_{i}$$N/(N-1)$$\hat{p}(1 - \hat{p})$ 1N=$\sqrt{N/(N-1)}$$1$$N = 1800$

2. Коли дані групуються, (справжня) дисперсія дорівнює оскільки статистика являє собою суму змінних Бернуллі ( ), кожна з дисперсією . Тому очікувана стандартна похибка середнього значення цих значень є квадратним коренем , як і раніше.p ( 1 - p ) / n k i n p p ( 1 - p ) m p ( 1 - p ) / n / m = p ( 1 - p ) /$k_i/n$$p(1-p)/n$$k_i$$n$$p$$p(1-p)$$m$$p(1-p)/n/m = p(1-p)/N$

Число 2 вказує, що потужність тесту не повинна помітно відрізнятися від розподілу нічиїх (тобто від того, як змінюються і залежно від ), крім, можливо, від досить малого ефекту від коригування дисперсії вибірки (якщо ви не були такими нерозумними, щоб використовувати надзвичайно мало наборів розіграшів у кожній групі).n m n = $m$$n$$m n = N$

Обмежене моделювання для порівняння до (з 10 000 ітерацій за штуку), що включає (по суті логістична регресія); ; і (максимізація коригування дисперсії вибірки) це випливає: потужність (при , однобічна) у перших двох випадках становить 0,59, тоді як у третьому, де коефіцієнт коригування становить a зміна матеріалу (зараз є лише два ступені свободи замість 1798 чи 58), вона знижується до 0,36. Ще один тест, порівнюючи доp = 0,74 m = 900 , n = 1 m = n = 30 m = 2 , n = 450 α = 0,05 p = 0,50 p = $p = 0.70$$p = 0.74$$m = 900, n = 1$$m = n = 30$$m = 2, n = 450$$\alpha = 0.05$$p = 0.50$$p = 0.52$ дає потужності відповідно 0,22, 0,21 та 0,15: знову ж таки, ми спостерігаємо лише незначне падіння від не групування до розіграшів (= логістичний регрес) до згрупування в 30 груп і істотного падіння лише до двох груп.

Моралі цього аналізу:

1. Ви не втрачаєте багато, розділяючи свої даних на велику кількість відносно невеликих груп "малюнків".$N$$m$
2. Ви можете втратити помітну потужність, використовуючи невелику кількість груп ( невелика, - кількість даних на групу - велика).$m$$n$
3. Вам найкраще взагалі не групувати свої даних у "малюнки". Просто проаналізуйте їх як є (використовуючи будь-який розумний тест, включаючи логістичну регресію та t-тестування).$N$

Ось код в R , який ілюструє моделювання whuber в відповідь . Відгуки щодо вдосконалення мого R-коду більш ніж вітаються.

N <- 900            # Total number data points
m <- 30;            # Size of draw per set
n <- 30;            # No of sets

p_null <- 0.70;     # Null hypothesis
p_alternate <- 0.74 # Alternate hypothesis
tot_iter <- 10000;

set.seed(1);        # Initialize random seed
null_rejected <- 0; # Set counter to 0
for (iter in 1:tot_iter)
{
    draws1 <- matrix(0,m,n);
    draws2 <- matrix(0,m,n);
    means1 <- matrix(0,m);
    means2 <- matrix(0,m);

    for (obs in 1:m)
    {
        draws1[obs,] <- rbinom(n,1,p_null);
        draws2[obs,] <- rbinom(n,1,p_alternate);

        means1[obs,] <- mean(draws1[obs,]);
        means2[obs,] <- mean(draws2[obs,]);
    }
    if (t.test(means1,means2,alternative="l")$p.value <= 0.05)
    {
        null_rejected <- null_rejected + 1; 
    }
}
power <- null_rejected / tot_iter