Розглянемо просту лінійну модель:

$$\pmb{y}=X'\pmb{\beta}+\epsilon$$

де і , і містить стовпець констант.$\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2)$$X\in\mathbb{R}^{n\times p}$$p\geq2$$X$

Моє запитання, з огляду на , \ beta та \ sigma , чи існує формула для нетривіальної верхньої межі на \ mathrm {E} (R ^ 2) *? (якщо припустити, що модель була оцінена OLS).$\mathrm{E}(X'X)$$\beta$$\sigma$$\mathrm{E}(R^2)$

* Я припускав, пишучи це, що отримати $E(R^2)$ само по собі було б неможливо.

EDIT1

використовуючи розчин, отриманий Стефаном Лоран (див. нижче), ми можемо отримати нетривіальну верхню межу на $E(R^2)$ . Деякі чисельні моделювання (нижче) показують, що ця межа насправді досить щільна.

Стефан Лоран отримав наступне: $R^2\sim\mathrm{B}(p-1,n-p,\lambda)$ де $\mathrm{B}(p-1,n-p,\lambda)$ - не центральний бета-розподіл з параметр нецентральності $\lambda$ з

$$\lambda=\frac{||X'\beta-\mathrm{E}(X)'\beta1_n||^2}{\sigma^2}$$

Так

$$\mathrm{E}(R^2)=\mathrm{E}\left(\frac{\chi^2_{p-1}(\lambda)}{\chi^2_{p-1}(\lambda)+\chi^2_{n-p}}\right)\geq\frac{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)}{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)+\mathrm{E}\left(\chi^2_{n-p}\right)}$$

де $\chi^2_{k}(\lambda)$ - не центральний $\chi^2$ з параметром $\lambda$ і $k$ ступенями свободи. Отже, нетривіальна верхня межа для $\mathrm{E}(R^2)$ є

$$\frac{\lambda+p-1}{\lambda+n-1}$$

це дуже щільно (набагато жорсткіше, ніж я очікував, що це можливо):

наприклад, використовуючи:

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

середнє значення понад 1000 моделювання становить . Теоретична верхня межа, наведена вище, дає . Здається, пов'язана однаково точна для багатьох значень . Воістину приголомшливо!$R^2$0.9608190.9609081$R^2$

EDIT2:

після подальших досліджень виявляється, що якість наближення верхньої межі до покращиться, коли зростає (а все інше дорівнює збільшується з ).E ( R 2 ) λ + p λ $E(R^2)$$\lambda+p$$\lambda$$n$

Будь-яка лінійна модель може бути записана , де має стандартний нормальний розподіл на і передбачається, належить до лінійного підпросторі з . У вашому випадку .Y = μ + σ G GRnμWRnW=Im(X$\boxed{Y=\mu+\sigma G}$$G$$\mathbb{R}^n$$\mu$$W$$\mathbb{R}^n$$W=\text{Im}(X)$

Нехай - одновимірна лінійна підпростора, породжена вектором . Приймаючи нижче, дуже пов'язаний з класичною статистикою Фішера для тесту гіпотези де є лінійним підпростором, і позначає ортогональне доповнення в , і позначає і (тоді і[ 1 ] ⊂ W ( 1 , 1 , … , 1 ) U = [ 1 ] R 2 F = ‖ P Z Y ‖ 2 / ( m - ℓ $[1] \subset W$$(1,1,\ldots,1)$$U=[1]$$R^2$‖ P ⊥ W Y ‖ 2 / (n-m),H0:{μ∈U}U⊂WZ=U⊥∩WUWm=dim(W)ℓ=dim(U)m=pℓ=

$$F = \frac{{\Vert P_Z Y\Vert}^2/(m-\ell)}{{\Vert P_W^\perp Y\Vert}^2/(n-m)},$$ $H_0\colon\{\mu \in U\}$$U\subset W$$Z=U^\perp \cap W$$U$$W$$m=\dim(W)$$\ell=\dim(U)$$m=p$$\ell=1$ у вашій ситуації).

Дійсно, тому що визначення є

$$\dfrac{{\Vert P_Z Y\Vert}^2}{{\Vert P_W^\perp Y\Vert}^2} = \frac{R^2}{1-R^2}$$ $R^2$ $$R^2 = \frac{{\Vert P_Z Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}=1 - \frac{{\Vert P^\perp_W Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}.$$

Очевидно та .$\boxed{P_Z Y = P_Z \mu + \sigma P_Z G}$$\boxed{P_W^\perp Y = \sigma P_W^\perp G}$

Коли вірно,$H_0\colon\{\mu \in U\}$ то і тому має розподіл Фішера . Отже, із класичного відношення між розподілом Фішера та розподілом Бета .$P_Z \mu = 0$

$$F = \frac{{\Vert P_Z G\Vert}^2/(m-\ell)}{{\Vert P_W^\perp G\Vert}^2/(n-m)} \sim F_{m-\ell,n-m}$$ $F_{m-\ell,n-m}$$R^2 \sim {\cal B}(m-\ell, n-m)$

У загальній ситуації ми маємо мати справу з коли . У цьому загальному випадку є , нецентральний розподіл з градусами параметра свободи та нецентральності , а потім (нецентральний розподіл Фішера). Це класичний результат, який використовується для обчислення потужності -тестів.$P_Z Y = P_Z \mu + \sigma P_Z G$$P_Z\mu \neq 0$${\Vert P_Z Y\Vert}^2 \sim \sigma^2\chi^2_{m-\ell}(\lambda)$$\chi^2$$m-\ell$$\boxed{\lambda=\frac{{\Vert P_Z \mu\Vert}^2}{\sigma^2}}$$\boxed{F \sim F_{m-\ell,n-m}(\lambda)}$$F$

Класичне відношення між розподілом Фішера та розподілом Бета має місце і в нецентральній ситуації. Нарешті, має нецентральний бета-розподіл із "параметрами форми" та та параметром нецентральності . Я думаю, що моменти є в літературі, але вони, можливо, дуже складні.$R^2$$m-\ell$$n-m$$\lambda$

Нарешті запишемо . Зауважте, що . Один має коли , а . Звідси де тут для невідомих параметрів вектор .$P_Z\mu$$P_Z = P_W - P_U$$P_U \mu = \bar\mu 1$$U=[1]$$P_W \mu = \mu$$P_Z \mu =\mu - \bar\mu 1$$\mu=X\beta$$\beta$