Який розподіл

Який розподіл коефіцієнта визначення, або R у квадраті, , в лінійній одновимірній множинній регресії за нульовою гіпотезою ?$R^2$$H_0:\beta=0$

Як це залежить від кількості предикторів та кількості вибірок ? Чи існує вираз закритої форми для режиму цього розподілу?$k$$n>k$

Зокрема, у мене є відчуття, що для простої регресії (з одним предиктором ) цей розподіл має режим нульового рівня, але для множинної регресії режим знаходиться на ненульовому позитивному значенні. Якщо це дійсно так, чи існує інтуїтивне пояснення цього «фазового переходу»?$x$

---

Оновлення

Як показав @Alecos нижче, розподіл дійсно досягає нуля, коли і а не при нулі, коли . Я відчуваю, що на цьому фазовому переході має бути геометричний погляд. Розглянемо геометричний вигляд OLS: - вектор у , визначає там -вимірний підпростір. OLS означає проектування на цей підпростір, а - косинус кута між та його проекцією .$k=2$$k=3$$k>3$$\mathbf y$$\mathbb R^n$$\mathbf X$$k$$\mathbf y$$R^2$$\mathbf y$$\hat{\mathbf y}$

Тепер із відповіді @ Алекоса випливає, що якщо всі вектори випадкові, то розподіл ймовірностей цього кута досягне максимального значення при і , але буде мати режим за деяким іншим значенням для . Чому ?!$90^\circ$$k=2$$k=3$$<90^\circ$$k>3$

---

Оновлення 2: Я приймаю відповідь @ Alecos'es, але все ще маю відчуття, що я пропускаю тут важливе розуміння. Якщо хтось колись пропонує будь-який інший (геометричний чи ні) погляд на це явище, який би зробив це "очевидним", я буду радий запропонувати щедроту.

Для конкретної гіпотези (що всі коефіцієнти регресора дорівнюють нулю, не враховуючи постійний термін, який не досліджується в цьому тесті) та нормальність, ми знаємо (див., Наприклад, Maddala 2001, p. 155, але зауважимо, що там вважає регресорів без постійного терміна, тому вираз виглядає трохи інакше), ніж статистичний$k$

F = n - kk - 1 R21 - R 2 F(k-1,n-k

$$F = \frac {n-k}{k-1}\frac {R^2}{1-R^2}$$ розподіляється як центральна випадкова величина .$F(k-1, n-k)$

Зауважимо, що хоча ми не перевіряємо постійний термін, вважає його.$k$

Пересуваючи речі,

$$(k-1)F - (k-1)FR^2 = (n-k)R^2 \Rightarrow (k-1)F = R^2\big[(n-k) + (k-1)F\big]$$

$$\Rightarrow R^2 = \frac {(k-1)F}{(n-k) + (k-1)F}$$

Але права рука поширюється у вигляді бета - розподілу , в зокрема ,

$$R^2 \sim Beta\left (\frac {k-1}{2}, \frac {n-k}{2}\right)$$

Режим цього розподілу

$$\text{mode}R^2 = \frac {\frac {k-1}{2}-1}{\frac {k-1}{2}+ \frac {n-k}{2}-2} =\frac {k-3}{n-5}$$

FINITE & UNIQUE MODE
З наведеного вище відношення ми можемо зробити висновок, що для розподілу, щоб мати унікальний і кінцевий режим, ми повинні мати

$$k\geq 3, n >5$$

Це відповідає загальній вимозі до бета-розподілу, яка є

$$\{\alpha >1 , \beta \geq 1\},\;\; \text {OR}\;\; \{\alpha \geq1 , \beta > 1\}$$

як можна зробити висновок з цієї теми CV або прочитати тут .
Зауважте, що якщо , ми отримуємо Уніфікований розподіл, тому всі точки щільності є режимами (кінцевими, але не унікальними). Що створює питання: Чому, якщо , розподіляється як ?{ α = 1 , β = 1 } k = 3 , n = 5 R 2 U ( 0 , 1 )$\{\alpha =1 , \beta = 1\}$$k=3, n=5$$R^2$$U(0,1)$

ВПРОВАДЖЕННЯ
Припустимо, що у вас регресорів (включаючи постійні) та спостережень. Дуже приємна регресія, без надягання. Потімk = 5 n = $k=5$$n=99$

$$R^2\Big|_{\beta=0} \sim Beta\left (2, 47\right), \text{mode}R^2 = \frac 1{47} \approx 0.021$$

і щільність ділянки

Інтуїція, будь ласка: це розподіл під гіпотезою, що жоден регресор насправді не належить до регресії. Отже, а) розподіл не залежить від регресорів; б) оскільки розмір вибірки збільшує, її розподіл зосереджено до нуля, оскільки збільшена інформація болотить невелику вибіркову мінливість, яка може призвести до деякого «придатності», а також в) як кількість нерелевантних регресорів збільшується для заданого розміру вибірки, розподіл концентрується у напрямку до , і ми маємо явище "помилкового пристосування". R 2$R^2$$1$

Але також зауважте, як "легко" відкинути нульову гіпотезу: в конкретному прикладі для сукупна ймовірність вже досягла , тому отриманий відкине нуль "незначної регресії "при рівні значущості %.R 2 = 0,13 0,99 R 2 > 0,13 $R^2=0.13$$0.99$$R^2>0.13$$1$

ДОПОЛНЕННЯ
Щоб відповісти на нове питання щодо режиму розподілу , я можу запропонувати наступний роздум (не геометричний), який пов'язує його із явищем "хибного пристосування": коли ми проводимо найменші квадрати на даних Набір, ми по суті вирішуємо систему з лінійних рівнянь з невідомими (єдиною відмінністю від математики середньої школи є те, що тоді ми називали "відомими коефіцієнтами", що в лінійній регресії ми називаємо "змінними / регресорами", "невідомими х", що тепер ми називаємо "невідомі коефіцієнти", а "постійні умови", що ми знаємо, називаємо "залежною змінною"). ПокиR 2 n k k < n 1 - R 2 k = n k R 2 1 k $R^2$$n$$k$$k<n$система завищена ідентифікована, і немає точного рішення, лише наближене - і різниця виникає як "незрозуміла дисперсія залежної змінної", яка фіксується . Якщо система має одне точне рішення (припускаючи лінійну незалежність). Між тим, коли ми збільшуємо кількість , ми зменшуємо "ступінь перевизначення" системи і "рухаємося до" єдиного точного рішення. Згідно з цим поглядом, є сенс, чому шалено збільшується з додаванням невідповідних регресій, а отже, чому його режим поступово рухається в бік , оскільки збільшується для даної .$1-R^2$$k=n$$k$$R^2$$1$$k$$n$

Я не переробляю розподіл у відмінній відповіді @ Alecos (це стандартний результат, дивіться тут інший приємна дискусія), але я хочу заповнити детальніше про наслідки! По-перше, як виглядає нульовий розподіл для діапазону значень та ? Графік відповіді @ Алекоса є досить репрезентативним для того, що відбувається в практичних численних регресіях, але іноді розуміння легше отримується з менших випадків. Я включив середнє значення, режим (де він існує) і стандартне відхилення. Графік / таблиця заслуговує хорошого очного яблука: найкраще переглядатись у повному розміріБ е т а ( к - 12 ,n - k2 )R2nkn$\mathrm{Beta}(\frac{k-1}{2}, \, \frac{n-k}{2})$$R^2$$n$$k$. Я міг би включити менше граней, але схема була б менш чіткою; Я додав Rкод, щоб читачі могли експериментувати з різними підмножинами і .$n$$k$

Значення параметрів форми

Колірна схема графіку вказує, чи менший параметр форми менше одного (червоний), рівний одному (синій) або більше одного (зелений). Ліва частина показує значення а справа. Оскільки , його значення збільшується в арифметичній прогресії на загальну різницю коли ми рухаємося прямо від стовпця до стовпця (додаємо регресор до нашої моделі) в той час як при фіксованому , зменшується . Загальний фіксується для кожного рядка (для заданого розміру вибірки). Якщо замість цього виправитиα β α = k - $\alpha$$\beta$2$\alpha = \frac{k-1}{2}$2 nβ=n-$\frac{1}{2}$$n$2$\beta = \frac{n-k}{2}$2 α+β=n-$\frac{1}{2}$2 kαβ$\alpha + \beta = \frac{n-1}{2}$$k$і рухаємося вниз по стовпцю (збільшуємо розмір вибірки на 1), тоді залишається постійним, а збільшується на . У регресійному відношенні - це половина кількості регресорів, включених у модель, а - половина залишків ступенів свободи . Для визначення форми розподілу нас особливо цікавить, де або дорівнює одиниці.$\alpha$$\beta$2 αβα$\frac{1}{2}$$\alpha$$\beta$$\alpha$$\beta$

Алгебра пряма для : маємо тому . Це справді єдиний стовпчик грані, який заповнено синім зліва. Аналогічно для ( стовпчик - червоний зліва) і для (від стовпця далі ліва сторона зелена).α k - $\alpha$2 =1k=3α<1k<3k=2α>1k>3k=$\frac{k-1}{2}=1$$k=3$$\alpha < 1$$k<3$$k=2$$\alpha > 1$$k>3$$k=4$

Для маємо звідси . Зверніть увагу, як ці випадки (позначені синьою правою стороною) вирізають діагональну лінію по всій грані ділянки. Для отримаємо (графіки із зеленою лівою стороною лежать зліва від діагональної лінії). Для нам потрібні , що передбачає лише найбільш правильні випадки на моєму графіку: при нас і розподіл вироджений, але де зображено на малюнку (права сторона червоного кольору).β = 1 n - $\beta=1$2 =1k=n-2β>1k<n-2β<1k>n-2n=kβ=0n=k-1β=$\frac{n-k}{2}=1$$k=n-2$$\beta > 1$$k < n - 2$$\beta < 1$$k > n - 2$$n=k$$\beta=0$$n=k-1$$\beta = \frac{1}{2}$

Оскільки PDF є , зрозуміло, що якщо (і лише якщо ) тоді як . Це ми можемо побачити на графіку: коли ліва частина зафарбована червоним кольором, спостерігайте за поведінкою при 0. Аналогічно, коли тоді як . Подивіться, де права сторона червона!f ( x ;α ,β ) ∝ x α - 1 ( 1 - x ) β - 1 α < 1 f ( x ) → ∞ x → 0 β < 1 f ( x ) → ∞ x → $f(x;\,\alpha,\,\beta) \propto x^{\alpha-1} (1-x)^{\beta-1}$$\alpha<1$$f(x) \to \infty$$x \to 0$$\beta<1$$f(x) \to \infty$$x \to 1$

Симетрії

Однією з найбільш привабливих особливостей графіка є рівень симетрії, але коли бере участь бета-розподіл, це не повинно дивувати!

Сам бета-розподіл симетричний, якщо . Для нас це відбувається, якщо що правильно ідентифікує панелі , , і . Те, наскільки розподіл симетричний по залежить від того, скільки змінних регресорів ми включимо в модель для цього розміру вибірки. Якщо розподіл ідеально симетричний приблизно 0,5; якщо ми включимо менше змінних, ніж це стає все більш асиметричним, і основна маса ймовірнісної маси зміститься ближче доα = β n = 2 k - 1 ( k = 2 , n = 3 ) ( k = 3 , n = 5 ) ( k = 4 , n = 7 ) ( k = 5 , n = 9 ) R 2 = 0,5 k = n + $\alpha = \beta$$n = 2k-1$$(k=2, n=3)$$(k=3, n=5)$$(k=4, n=7)$$(k=5, n=9)$$R^2 = 0.5$2 R2R2=0R2=1$k = \frac{n+1}{2}$$R^2$$R^2 = 0$; якщо ми включимо більше змінних, то вона зміститься ближче до . Пам'ятайте, що включає в себе перехоплення в свій рахунок, і що ми працюємо під нулем, тому змінні регресора повинні мати нульовий коефіцієнт у правильно заданій моделі.$R^2 = 1$$k$

Існує також очевидно симетрія між розподілами для будь-якого заданого , тобто будь-якого ряду в грані грані. Наприклад, порівняйте з . Що це викликає? Нагадаємо, що розподіл є дзеркальним зображенням через . Тепер у нас були і . Розглянемо і знайдемо:n ( k = 3 , n = 9 ) ( k = 7 , n = 9 ) B e t a ( α , β ) B e t a ( β , α ) x = 0,5 α k , n = k - $n$$(k=3, n=9)$$(k=7, n=9)$$\mathrm{Beta}(\alpha, \beta)$$\mathrm{Beta}(\beta, \alpha)$$x=0.5$2 βk,n=n-$\alpha_{k,n} = \frac{k-1}{2}$2 k′=n-k+$\beta_{k,n} = \frac{n-k}{2}$$k'=n-k+1$

α k ′ , n = ( n - k + 1 ) - 12 =n-k2 =βk,nβk′,n=n-(n-k+1

$$\alpha_{k',n} = \frac{(n-k+1)-1}{2} = \frac{n-k}{2} = \beta_{k,n}$$ $$\beta_{k',n} = \frac{n-(n-k+1)}{2} = \frac{k-1}{2} = \alpha_{k,n}$$

Отже, це пояснює симетрію, оскільки ми змінюємо кількість регресорів у моделі для фіксованого розміру вибірки. Він також пояснює розподіли, які самі по собі є симетричними як особливий випадок: для них тому вони зобов'язані бути симетричними між собою!$k' = k$

Це говорить нам те , що ми не могли б здогадатися про множинної регресії: для заданого розміру вибірки , і при умові відсутності регресорів не має справжнє ставлення з , в для моделі з допомогою регресорів плюс перехоплювати має таке ж розподіл як робить для моделі з залишком ступеня свободи .n Y R 2 k - 1 1 - R 2 k - 1$n$$Y$$R^2$$k-1$$1 - R^2$$k-1$

Спеціальні дистрибуції

Коли нас є , що не є дійсним параметром. Однак, як розподіл стає виродженим з шипом таким, що . Це відповідає тому, що ми знаємо про модель з такою ж кількістю параметрів, скільки точок даних - вона досягає ідеального пристосування. Я не малював виродженого розподілу на своєму графіку, але включав середнє значення, режим і стандартне відхилення.k = n β = 0 β → 0 P ( R 2 = 1 ) = $k=n$$\beta=0$$\beta \to 0$$\mathsf{P}(R^2 = 1)=1$

Коли і отримуємо що є розподілом дуги . Це симетрично (оскільки ) і бімодальне (0 і 1). Оскільки це єдиний випадок, коли обидві сторони і (позначені червоним кольором), це єдиний наш розподіл, який іде до нескінченності на обох кінцях підтримки.k = 2 n = 3 B e t a ( $k=2$$n=3$2 ,12 )α=βα<1β<$\mathrm{Beta}(\frac{1}{2}, \, \frac{1}{2})$$\alpha = \beta$$\alpha < 1$$\beta < 1$

Розподіл - єдиний бета-розподіл прямокутного (рівномірного) . Всі значення від 0 до 1 однаково вірогідні. Єдина комбінація і для якої виникає є і (позначені синьою обома сторонами).Б е т а ( 1 ,1 ) R 2 k n α = β = 1 k = 3 n = $\mathrm{Beta}(1, \, 1)$$R^2$$k$$n$$\alpha = \beta =1$$k=3$$n=5$

Попередні спеціальні випадки мають обмежене застосування, але важливі та (зелений зліва, синій справа). Тепер тому у нас є розподіл влади-закону на [0, 1]. Звичайно, навряд чи ми могли б виконати регресію з та , і саме тоді це відбувається. Але за попереднім аргументом симетрії чи деякою тривіальною алгеброю у PDF, коли та , що є частою процедурою множинної регресії з двома регресорами та перехопленням на нетривіальний розмір вибірки,α > 1 β = 1 f ( x $\alpha > 1$$\beta=1$α ,β ) ∝ x α - 1 ( 1 - x ) β - 1 = x α - 1 k = n - 2 k > 3 k = 3 n > 5 R 2 H 0 α = 1 β > $f(x;\,\alpha,\,\beta) \propto x^{\alpha-1} (1-x)^{\beta-1} = x^{\alpha-1}$$k=n-2$$k>3$$k=3$$n > 5$$R^2$буде слідувати відображеному закону розподілу енергії на [0, 1] під . $H_0$Це відповідає і тому позначено синім ліворуч, зеленим справа.$\alpha=1$$\beta>1$

Можливо, ви також помітили трикутні розподіли при та його відображення . З їх та ми можемо визнати, що це лише окремі випадки закону про владу та відображені розподіли влади-закону, де потужність становить .( k = 5 , n = 7 ) ( k = 3 , n = 7 ) α β 2 - 1 = $(k=5,n=7)$$(k=3,n=7)$$\alpha$$\beta$$2-1=1$

Режим

Якщо і , все зелене на графіку, увігнуте з , і розподіл Beta має унікальний режим . Поклавши їх на і , умова стає і тоді як режим .α > 1 β > 1 f ( x $\alpha>1$$\beta>1$α ,β ) f ( 0 ) = f ( 1 ) = 0 α - $f(x; \, \alpha, \, \beta)$$f(0)=f(1)=0$α + β - 2 knk>3n>k+2k-$\frac{\alpha-1}{\alpha+\beta-2}$$k$$n$$k>3$$n>k+2$$\frac{k-3}{n-5}$

Усі інші випадки розглядалися вище. Якщо ми розслабимо нерівність, щоб дозволити , тоді ми включимо (зелено-сині) силові закони розподілу з та (рівнозначно, ). Ці випадки явно мають режим 1, який фактично узгоджується з попередньою формулою, оскільки . Якщо б замість цього ми дозволили але все-таки вимагали , ми знайдемо (синьо-зелені) відображені розподіли потужності закону з та . Їх режим 0, що відповідає . Однак, якщо ми послабили обидві нерівності одночасно, щоб дозволитиβ = 1 k = n - 2 k > 3 n > 5 ( n - 2 ) - $\beta=1$$k=n-2$$k>3$$n>5$n - 5 =1α=1β>1k=3n>53-$\frac{(n-2)-3}{n-5}=1$$\alpha=1$$\beta>1$$k=3$$n>5$n - 5 =0α=β=1k=3n=53-$\frac{3-3}{n-5}=0$$\alpha=\beta=1$, ми знайдемо (все синій) рівномірний розподіл з і , який не має унікального режиму. Більше того, попередня формула не може бути застосована в цьому випадку, оскільки вона поверне невизначену форму .$k=3$$n=5$$\frac{3-3}{5-5}=\frac{0}{0}$

Коли ми отримуємо вироджене розподіл у режимі 1. Коли (в регресійному відношенні, тому існує лише одна залишкова ступінь свободи), тоді як , а коли (в регресійному відношенні, то проста лінійна модель з перехопленням і одним регресором), тоді як . Це були б унікальні режими, за винятком незвичайного випадку, коли і (підходить простої лінійної моделі до трьох точок), який є бімодальним у 0 та 1. n = k β < 1 n = k - 1 f ( x ) → ∞ x → 1 α < 1 k = 2 f ( x ) → ∞ x → 0 k = 2 n = $n=k$$\beta < 1$$n=k-1$$f(x) \to \infty$$x \to 1$$\alpha < 1$$k=2$$f(x) \to \infty$$x \to 0$$k=2$$n=3$

Середній

Питання про режим, але середнє значення під нулем також цікаве - він має надзвичайно просту форму . Для фіксованого розміру вибірки він збільшується в арифметичній прогресії, оскільки в модель додається більше регресорів, поки середнє значення не дорівнює 1, коли . Середнє значення бета-розподілу - тому така арифметична прогресія була неминучою з попереднього нашого спостереження, що при фіксованому сума є постійною, але збільшується на 0,5 для кожного регресора, доданого до моделі.R 2 k - $R^2$n - 1 k=n$\frac{k-1}{n-1}$$k=n$α + β nα+β$\frac{\alpha}{\alpha+\beta}$$n$$\alpha+\beta$$\alpha$

$$\frac{\alpha}{\alpha+\beta} = \frac{(k-1)/2}{(k-1)/2 + (n-k)/2} = \frac{k-1}{n-1}$$

Код сюжетів

require(grid)
require(dplyr)

nlist <- 3:9 #change here which n to plot
klist <- 2:8 #change here which k to plot

totaln <- length(nlist)
totalk <- length(klist)

df <- data.frame(
    x = rep(seq(0, 1, length.out = 100), times = totaln * totalk),
    k = rep(klist, times = totaln, each = 100),
    n = rep(nlist, each = totalk * 100)
)

df <- mutate(df,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    density = dbeta(x, (k-1)/2, (n-k)/2),
    groupcol = ifelse(x < 0.5, 
        ifelse(a < 1, "below 1", ifelse(a ==1, "equals 1", "more than 1")),
        ifelse(b < 1, "below 1", ifelse(b ==1, "equals 1", "more than 1")))
)

g <- ggplot(df, aes(x, density)) +
    geom_line(size=0.8) + geom_area(aes(group=groupcol, fill=groupcol)) +
    scale_fill_brewer(palette="Set1") +
    facet_grid(nname ~ kname)  + 
    ylab("probability density") + theme_bw() + 
    labs(x = expression(R^{2}), fill = expression(alpha~(left)~beta~(right))) +
    theme(panel.margin = unit(0.6, "lines"), 
        legend.title=element_text(size=20),
        legend.text=element_text(size=20), 
        legend.background = element_rect(colour = "black"),
        legend.position = c(1, 1), legend.justification = c(1, 1))


df2 <- data.frame(
    k = rep(klist, times = totaln),
    n = rep(nlist, each = totalk),
    x = 0.5,
    ymean = 7.5,
    ymode = 5,
    ysd = 2.5
)

df2 <- mutate(df2,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    meanR2 = ifelse(k > n, NaN, a/(a+b)),
    modeR2 = ifelse((a>1 & b>=1) | (a>=1 & b>1), (a-1)/(a+b-2), 
        ifelse(a<1 & b>=1 & n>=k, 0, ifelse(a>=1 & b<1 & n>=k, 1, NaN))),
    sdR2 = ifelse(k > n, NaN, sqrt(a*b/((a+b)^2 * (a+b+1)))),
    meantext = ifelse(is.nan(meanR2), "", paste("Mean =", round(meanR2,3))),
    modetext = ifelse(is.nan(modeR2), "", paste("Mode =", round(modeR2,3))),
    sdtext = ifelse(is.nan(sdR2), "", paste("SD =", round(sdR2,3)))
)

g <- g + geom_text(data=df2, aes(x, ymean, label=meantext)) +
    geom_text(data=df2, aes(x, ymode, label=modetext)) +
    geom_text(data=df2, aes(x, ysd, label=sdtext))
print(g)