Як я можу порівняти завантажені регресні нахили?

Припустимо, що у мене є два набори даних із n спостереженнями пар даних незалежної змінної x та залежної змінної y кожна. Давайте припустимо, що я хочу створити розподіл укосів регресії для кожного набору даних шляхом завантаження спостережень (із заміною) N разів та обчислення регресії y = a + bxщоразу. Як я порівняю два розподіли, щоб сказати, що нахили значно відрізняються? U-тест для тестування різниці між медіанами розподілів сильно залежатиме від N, тобто чим частіше я повторюю завантажувальну завантаження, тим суттєвішою буде різниця. Як я повинен обчислити перекриття між розподілами, щоб визначити значну різницю?

regression statistical-significance bootstrap

— user7417
джерело

Запуск завантажень робиться для отримання більш надійної картини розподілу вибірки, ніж та, яку передбачає велика теорія вибірки. Коли ви завантажуєте тренд, фактично немає обмеження кількості прийнятих вами чоботів; насправді ви отримуєте кращу наближеність до розподілу вибірки, чим більше зразків ви берете. Звичайним є використання ботильових зразків, хоча в цьому числі немає нічого магічного. Крім того, ви не проводите тест на пробовідбірники; у вас є оцінка розподілу вибірки - використовуйте її безпосередньо. Ось алгоритм: $B=10,000$

взяти зразок чоботи з одного набору даних шляхом вибірки завантажувальних спостережень із заміною. [Що стосується коментарів нижче, одне відповідне питання - це те, що є дійсним "спостереженням завантаження", яке слід використовувати для вашої вибірки. Насправді існує кілька законних підходів; Я згадаю два, які є надійними та дозволяють відобразити структуру ваших даних: Коли у вас є дані спостереження (тобто дані були відібрані у вибірки за всіма параметрами, спостереження завантаження може бути впорядкованим n-кортежем (наприклад, рядок Наприклад, якщо у вас є одна змінна предиктора та одна змінна відповіді, ви $n_1$ $n_1$ $(x,y)$ впорядковані пари. З іншого боку, під час роботи з експериментальними даними значення змінних прогнозів не відбирали, а експериментальні одиниці присвоювали призначеним рівням кожної змінної предиктора. У такому випадку ви можете відібрати значення з кожного з рівнів змінної передбачувача, а потім з'єднати ці s з відповідним значенням цього рівня прогноктора. Таким чином, ви не зробите вибірку на ] $n_{1j}$ $y$ $j$ $y$ $X$
підходити до вашої регресійної моделі та зберігати оцінку схилу (називайте її ) $\hat\beta_1$
візьміть вибірковий зразок іншого набору даних шляхом вибірки завантажувальних спостережень із заміною $n_2$
підходять до іншої регресійної моделі і зберігають оцінку схилу (називаємо її ) $\hat\beta_2$
статистику з двох оцінок (пропозиція: використовувати різницю нахилу ) $\hat\beta_1-\hat\beta_2$
зберігати статистику та скидати іншу інформацію, щоб не витрачати пам'ять
повторіть кроки 1 - 6, разів $B=10,000$
сортуйте завантажене вибіркове розподіл різниць нахилу
обчисліть% bsd, який перекривається 0 (залежно від того, де менше, правий хвіст% або лівий хвіст%)
помножте цей відсоток на 2

Логіка цього алгоритму як статистичного тесту принципово схожа з класичними тестами (наприклад, t-тести), але ви не припускаєте, що дані або отримані вибіркові розподіли мають певний розподіл. (Наприклад, ви не припускаєте нормальності.) Основне припущення, яке ви робите, - це те, що ваші дані є репрезентацією населення, з якого ви взяли вибірку / хочете узагальнити. Тобто розподіл вибірки подібний до розподілу населення. Зауважте, що якщо ваші дані не пов’язані з населенням, яке вас цікавить, вам не пощастить.

Деякі люди побоюються використовувати, наприклад, регресійну модель для визначення схилу, якщо ви не бажаєте припускати нормальність. Однак ця стурбованість помилкова. Теорема Гаусса-Маркова говорить нам, що оцінка є неупередженою (тобто орієнтована на справжнє значення), тому це добре. Відсутність нормальності просто означає, що істинний розподіл вибірки може відрізнятися від теоретично заданого, і тому p-значення недійсні. Процедура завантаження дає вам змогу вирішити цю проблему.

Ще два питання щодо завантажувального завантаження: Якщо дотримані класичні припущення, завантажувальна система є менш ефективною (тобто має меншу потужність), ніж параметричний тест. По-друге, завантажувальний інструмент найкраще працює, коли ви досліджуєте поблизу центру розподілу: засоби та медіани хороші, квартилі не такі гарні, завантажувальний мінімум чи максимум обов'язково провалюються. Щодо першого пункту, можливо, вам не знадобиться завантажуватися у вашій ситуації; що стосується другої точки, завантажувальний нахил ідеально чудовий.

— gung - Відновити Моніку
джерело

Хоча я, можливо, помиляюсь, я вважав, що завантажувальна машина в регресії повинна бути підтверджена на залишках, а не на необроблених даних ...

— Сіань

@ Xi'an, я помилявся раніше, але я не розумію, чому ви вважаєте, що лише залишкові завантажувачі дійсні. У розділі 9.5 Efron & Tibshirani (1994) говориться: "Парти завантаження менш чутливі до припущень, ніж залишки завантажувального завантаження. Стандартна помилка, отримана при завантаженні пар, дає розумні відповіді, навіть якщо [ймовірність структури лінійної моделі] абсолютно неправильна". Слід зазначити, що застосування завантажувальної програми є більш надійним, хоча вони мають на увазі, що в деяких випадках це може бути менш ефективно.

— gung - Відновіть Моніку

Моє хвилювання при завантаженні пар полягає в тому, що ви також включаєте розподіл предикторів, який зазвичай залишається поза зображенням у звичайних лінійних моделях. Тому я завжди навчаю своїх студентів завантажувати лише залишки.

— Сіань

@ Xi'an, це розумний момент, я вважаю, що я передбачав структуру даних спостереження. Я відредагував свою відповідь, щоб додати детальніше про ці проблеми. Однак я не бачу, як це означає, що завантажувальні пари обов'язково недійсні.

— gung - Відновити Моніку

Примушування сполучення між двома незалежними наборами даних є штучним та неефективним. Ви можете зробити набагато краще, ніж це!

— whuber

$s_i$

y_{i} = β_{0} + β_{1} x_{i} + β_{2} s_{i} + β_{3} s_{i} x_{i} + ϵ_{i}

$\begin{equation*}y_i = \beta_0 + \beta_1 x_i + \beta_2 s_i + \beta_3 s_i x_i + \epsilon_i \end{equation*}$

β_{3}

$\beta_3$

\begin{aligned} E [y_{i} ∣ x, s_{i} = 1] & = (β_{0} + β_{2}) + (β_{1} + β_{3}) x_{i} \\ E [y_{i} ∣ x, s_{i} = 0] & = β_{0} + β_{1} x_{i} . \end{aligned}

$\begin{align*} \text{E}[y_i \mid x, s_i = 1] &= (\beta_0 + \beta_2) + (\beta_1 + \beta_3) x_i \\ \text{E}[y_i \mid x, s_i = 0] &= \beta_0 + \beta_1 x_i. \end{align*}$

β_{3}

$\beta_3$

n

$n$

n

$n$

2 n

$2n$

Якщо у вас є кореляція між умовами помилки, можливо, вам знадобиться трохи змінити цю процедуру, тому напишіть, якщо це так.

Ви можете узагальнити такий підхід до структури, здавалося б, незв'язаної регресії (SUR). Цей підхід все ще дозволяє коефіцієнти перехоплення та нахилу довільно відрізнятись у двох наборах даних.

— Чарлі
джерело

Це гарна ідея. Але це також не припускає, що обидва регресії мають помилки в iid?

— качан

Гарна думка. Він вимагає, щоб не було різниць відхилень для помилок по групах і щоб помилки не співвідносилися в різних групах.

— Чарлі

Робити все за один регрес акуратно, і важливе значення має здобуття незалежності. Але обчислення бальних оцінок таким чином не вимагає постійної розбіжності. Спробуйте цей код R;

x <- rbinom(100, 1, 0.5)
z <- rnorm(100)
y <- rnorm(100)
coef(lm(y~x*z))
coef(lm(y~z, subset= x==1))[1] - coef(lm(y~z, subset= x==0))[1]
coef(lm(y~z, subset= x==1))[2] - coef(lm(y~z, subset= x==0))[2]

Ми отримуємо однакову бальну оцінку в будь-якому випадку. Оцінки стандартної помилки можуть вимагати постійної дисперсії (залежно від того, яку ви використовуєте), але розглянута тут система завантаження не використовує оцінених стандартних помилок.

— гість
джерело

Якщо ви збираєтеся перевірити, чи різниця укосів дорівнює нулю (як у відповіді @ Charlie, на яку ви, здається, стежите), вам потрібна точна, достовірна оцінка стандартних помилок. Не має значення, завантажуєте ви цю оцінку чи іншим чином.

— whuber