Basit doğrusal modeli düşünün:

y y = X^{'} β β + ϵ

$\pmb{y}=X'\pmb{\beta}+\epsilon$

nerede $\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2)$ ve $X\in\mathbb{R}^{n\times p}$ , $p\geq2$ ve $X$ bir sabit sütun içerir.

Sorum verilir $\mathrm{E}(X'X)$ , $\beta$ ve $\sigma$ , önemsiz olmayan üst üzerine bağlanmış bir formül olduğu $\mathrm{E}(R^2)$ *? (modelin OLS tarafından tahmin edildiği varsayılarak).

* Ben, bu yazma, farz olduğunu alma $E(R^2)$ kendisi mümkün olmazdı.

Edit1

Stéphane Laurent türetilen çözeltisi kullanılarak, çok yüksek ile bağlanmış bir önemsiz olmayan elde edilebilir (aşağıya bakınız) $E(R^2)$ . Bazı sayısal simülasyonlar (aşağıda) bu sınırın aslında oldukça sıkı olduğunu göstermektedir.

: Stéphane Laurent, aşağıdaki edilen olmayan dışmerkezlik parametresi olmayan bir merkezi beta dağılımı ile $R^2\sim\mathrm{B}(p-1,n-p,\lambda)$ $\mathrm{B}(p-1,n-p,\lambda)$ $\lambda$

λ = \frac{| | X^{'} β - E (X)^{'} β 1_{n} | |^{2}}{σ^{2}}

$\lambda=\frac{||X'\beta-\mathrm{E}(X)'\beta1_n||^2}{\sigma^2}$

Yani

E (R^{2}) = E (\frac{χ_{p - 1}^{2} (λ)}{χ_{p - 1}^{2} (λ) + χ_{n - p}^{2}}) \geq \frac{E (χ_{p - 1}^{2} (λ))}{E (χ_{p - 1}^{2} (λ)) + E (χ_{n - p}^{2})}

$\mathrm{E}(R^2)=\mathrm{E}\left(\frac{\chi^2_{p-1}(\lambda)}{\chi^2_{p-1}(\lambda)+\chi^2_{n-p}}\right)\geq\frac{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)}{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)+\mathrm{E}\left(\chi^2_{n-p}\right)}$

burada , parametresi ve serbestlik derecesi ile merkezi olmayan bir . Üst giden bir önemsiz olmayan yüzden olduğu $\chi^2_{k}(\lambda)$ $\chi^2$ $\lambda$ $k$ $\mathrm{E}(R^2)$

\frac{λ + p - 1}{λ + n - 1}

$\frac{\lambda+p-1}{\lambda+n-1}$

öyle çok (ben mümkün olacağını beklediğim daha çok sıkı) sıkı:

örneğin:

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

ortalama 1000 simülasyonlar olup . Yukarıdaki teorik üst sınır verir . Bağlı birçok değerleri arasında eşit olarak hassas gibi görünmektedir . Gerçekten şaşırtıcı! $R^2$ 0.9608190.9609081 $R^2$

EDIT2:

daha fazla araştırma sonra, görünür için üst sınır yaklaşım kalitesi, daha iyi bir şekilde alacak $E(R^2)$ artar (ve her şey eşit, birlikte artar ). $\lambda+p$ $\lambda$ $n$

linear-model expected-value

— user603
kaynak

parametreler sadece bağlı olarak bir beta dağılımına sahiptir

. Hayır ?

R^{2}

$R^2$

n

$n$

p

$p$

— Stéphane Laurent

Üzgünüm, önceki iddiam sadece "boş model" hipotezi altında doğrudur (sadece engelleme). Aksi dağılımı

bilinmeyen parametreleri içeren bir noncentrality parametresi olan bir konsolide bütçe dışında kalan Beta dağılımı gibi bir şey olmalıdır.

R^{2}

$R^2$

— Stéphane Laurent

@ StéphaneLaurent: teşekkürler. Bilinmeyen parametreler ile Beta parametreleri arasındaki ilişki hakkında daha fazla şey biliyor musunuz?

— Sıkıştım

Kesinlikle başa gerekiyor mu

? Belki de basit bir tam formül yoktur

E [R^{2}]

$E[R^2]$

E [R^{2} / (1 - R^{2})]

$E[R^2/(1-R^2)]$

— Stéphane Laurent

Benim cevap gösterimler ile

bazı sayıl için

R^{2} / (1 - R^{2}) = k F

$R^2/(1-R^2) = k F$

k

$k$ ve konsolide bütçe dışında kalan ilk andan

-Dağıtım basittir.

F

$F$

— Stéphane Laurent

Herhangi bir doğrusal model yazılabilir burada standart normal bir dağılıma sahip ve lineer alt alana ait olduğu varsayılır arasında . Sizin durumunuzda . $\boxed{Y=\mu+\sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W$ $\mathbb{R}^n$ $W=\text{Im}(X)$

Let vektörü tarafından oluşturulan tek boyutlu doğrusal alt uzayı . Çekilmesi Aşağıdaki, yüksek klasik Fisher istatistiği ile ilgilidir $[1] \subset W$ $(1,1,\ldots,1)$ $U=[1]$ $R^2$ hipotez testi içinburadadoğrusal bir alt uzaydır ve ileortogonal tamamlayıcısıdıriçerisindeve belirtenve(o

F = \frac{{‖ P_{Z} Y ‖}^{2} / (m - ℓ)}{{‖ P_{W}^{⊥} Y ‖}^{2} / (n - m)},

$F = \frac{{\Vert P_Z Y\Vert}^2/(m-\ell)}{{\Vert P_W^\perp Y\Vert}^2/(n-m)},$

H_{0} : {μ \in U}

$H_0\colon\{\mu \in U\}$

U \subset W

$U\subset W$

Z = U^{⊥} \cap W

$Z=U^\perp \cap W$

U

$U$

W

$W$

m = \dim (W)

$m=\dim(W)$

ℓ = \dim (U)

$\ell=\dim(U)$

m = p

$m=p$

durumunuzda

ℓ = 1

$\ell=1$

Aslında, tanımı, çünküolan

\frac{{‖ P_{Z} Y ‖}^{2}}{{‖ P_{W}^{⊥} Y ‖}^{2}} = \frac{R^{2}}{1 - R^{2}}

$\dfrac{{\Vert P_Z Y\Vert}^2}{{\Vert P_W^\perp Y\Vert}^2} = \frac{R^2}{1-R^2}$

R^{2}

$R^2$

R^{2} = \frac{{‖ P_{Z} Y ‖}^{2}}{{‖ P_{U}^{⊥} Y ‖}^{2}} = 1 - \frac{{‖ P_{W}^{⊥} Y ‖}^{2}}{{‖ P_{U}^{⊥} Y ‖}^{2}} .

$R^2 = \frac{{\Vert P_Z Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}=1 - \frac{{\Vert P^\perp_W Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}.$

Açıkçası ve . $\boxed{P_Z Y = P_Z \mu + \sigma P_Z G}$ $\boxed{P_W^\perp Y = \sigma P_W^\perp G}$

Zaman doğrudur $H_0\colon\{\mu \in U\}$ sonra ve bu nedenle $P_Z \mu = 0$ Fisherdağılımına sahiptir. Sonuç olarak, Fisher dağılımı ve Beta dağılımı arasındaki klasik ilişkiden,

F = \frac{{‖ P_{Z} G ‖}^{2} / (m - ℓ)}{{‖ P_{W}^{⊥} G ‖}^{2} / (n - m)} \sim F_{m - ℓ, n - m}

$F = \frac{{\Vert P_Z G\Vert}^2/(m-\ell)}{{\Vert P_W^\perp G\Vert}^2/(n-m)} \sim F_{m-\ell,n-m}$

F_{m - ℓ, n - m}

$F_{m-\ell,n-m}$

R^{2} \sim B (m - ℓ, n - m)

$R^2 \sim {\cal B}(m-\ell, n-m)$

Genel durumda biz uğraşmak zorunda zaman . Bu genel durumda, , serbestlik derecesi ve merkez dışılık parametresi ile merkezi olmayan dağılımı $P_Z Y = P_Z \mu + \sigma P_Z G$ $P_Z\mu \neq 0$ ${\Vert P_Z Y\Vert}^2 \sim \sigma^2\chi^2_{m-\ell}(\lambda)$ $\chi^2$ $m-\ell$ $\boxed{\lambda=\frac{{\Vert P_Z \mu\Vert}^2}{\sigma^2}}$ $\boxed{F \sim F_{m-\ell,n-m}(\lambda)}$ $F$

$R^2$ $m-\ell$ $n-m$ $\lambda$

$P_Z\mu$ $P_Z = P_W - P_U$ $P_U \mu = \bar\mu 1$ $U=[1]$ $P_W \mu = \mu$ $P_Z \mu =\mu - \bar\mu 1$ $\mu=X\beta$ $\beta$

— Stéphane Laurent
kaynak

P_{Z} x

$P_Z x$

x

$x$

Z

$Z$

P^{⊥}

$P^\perp$

dikkat edin

P x \neq ‖ P x ‖^{2}

$Px \neq \Vert P x \Vert^2$ . I'm going to edit my post to write the formulas.

— Stéphane Laurent

Done - do you see any simplification ?

— Stéphane Laurent

\bar{μ} = \frac{1}{n} \sum μ_{i}

$\bar \mu = \frac{1}{n} \sum \mu_i$

— Stéphane Laurent

Type I, obviously: type II are distributed on

(0, \infty)

$(0, \infty)$ . Actually

R^{2} / (1 - R^{2})

$R^2/(1-R^2)$ has the type II distribution. I have done the last corrections for today.

— Stéphane Laurent

R kare için koşullu beklenti

Edit1

EDIT2: