Bir regresyonda R-kare ve p-değeri arasındaki ilişki nedir?

tl; dr - OLS regresyonu için, daha yüksek bir R-kare aynı zamanda daha yüksek bir P değeri anlamına mı gelir? Özellikle tek bir açıklayıcı değişken için (Y = a + bX + e), fakat aynı zamanda n çok sayıda açıklayıcı değişken (Y = a + b1X + ... bnX + e) ​​için de ilgilenmek gerekir.

Bağlam - Bir dizi değişken üzerinde OLS regresyonu gerçekleştiriyorum ve her açıklayıcı (bağımsız) değişkenin doğrusal, logaritmik vb. Dönüşümleri arasındaki R-kare değerlerini içeren bir tablo üreterek en iyi açıklayıcı fonksiyonel formu geliştirmeye çalışıyorum. ve yanıt (bağımlı) değişkeni. Bu biraz benziyor:

Değişken adı - doğrusal form - --ln (değişken) --exp (değişken) - ... vb

Değişken 1 ------- R-kare ---- R-kare ---- R-kare -
... vb ...

R-karesinin uygun olup olmadığını veya P-değerlerinin daha iyi olacağını merak ediyorum. Muhtemelen bir ilişki vardır, çünkü daha önemli bir ilişki daha yüksek açıklayıcı güç anlamına gelir, ancak bunun titiz bir şekilde doğru olup olmadığından emin değildir.

Cevap, hayır arasında, düzenli bir ilişki vardır için ve genel regresyon p-değeri R, 2 o ters olan artıkların varyans (yaptığı gibi bağımsız değişkenlerin varyans kadar değişir orantılı) ve bağımsız değişkenlerin varyansını rastgele miktarlarla değiştirmekte özgürsünüz.$R^2$$R^2$

Bir örnek olarak, dikkate bir çok değişkenli veri kümesini ile i durumlarda indeksleme ve varsayalım ki ilk bağımsız değişkenin değerler kümesi, { x i 1 } , benzersiz bir maksimuma sahip x * pozitif bir miktar ile en yüksek ikinci değer ayrılmış £ değerinin . Tüm değerleri daha küçük olan ilk değişkenin doğrusal olmayan bir dönüşümünü uygulayın$((x_{i1}, x_{i2}, \ldots, x_{ip}, y_i))$$i$$\{x_{i1}\}$$x^*$$\epsilon$ aralığında [ 0 , 1 ] ve gönderir X * bir büyük bir değer kendisi M » 1 . Böyle bir M için bu,örneğinuygun bir (ölçekli) Box-Cox dönüşümü x → a ( ( x - x 0 ) λ - 1 ) / ( λ - 1 ) ) ile yapılabilir , bu yüzden hakkında konuşmuyoruz garip veya "patolojik" herhangi bir şey. Sonra$x^* - \epsilon/2$$[0,1]$$x^*$$M \gg 1$$M$$x \to a((x-x_0)^\lambda - 1)/(\lambda-1))$$M$keyfi büyük büyür, yaklaşır 1 olduğunca yakından sen lütfen, ne olursa olsun ilk bağımsız değişkenin varyansı için asimptotik orantılı iken artıkların varyans sınırlanmış olacaktır çünkü fit, ne kadar kötü bir M 2 .$R^2$$1$$M^2$

Bunun yerine araştırmanızda uygun bir model seçmek için uyum iyiliği testlerini (diğer tekniklerin yanı sıra) kullanmalısınız: uyumun doğrusallığı ve artıkların eşcinselliliği konusunda endişelenmelisiniz . Ve ortaya çıkan güven regresyonundan herhangi bir p değeri almayın: bu alıştırmadan geçtikten sonra neredeyse anlamsız hale gelecektir, çünkü yorumları bağımsız değişkenleri ifade etme seçeneğinin bağımlı değişken hiç yok, ki burada durum böyle değil.

Bu cevap doğrudan merkezi soruyla ilgilenmez; bir yorum için çok uzun olan ek bilgilerden başka bir şey değildir.

Econometricstatsquestion kuşkusuz bu bilgileri ya da onun gibi bir şey bir noktada (belirten karşılaşacak çünkü bu out işaret ve R 2 olan yanlış değil - - burada diğer yanıtlar verilen bilgiler yanlışsa ilgili) ve merak ama sanırım neler olup bittiğine dair net olmak gerekir.$F$$R^2$

Belirli koşullar altında bir ilişki vardır; Eğer gözlem sayısını ve belirli bir model için sabit belirleyicileri sayısını tutarsanız, içinde aslında monoton olduğunu R 2 beri,$F$$R^2$

(Pay ve paydayı böler ve sabitleri k olarak dışarı çekerseniz, 1 / F $R^2$$k$ N ve k sabitinitutarsanız 1 / R 2 - 1 olduğunu görebilirsiniz.)$1/F \propto 1/R^2 - 1$$N$$k$

Df sabit, yana , p-değeri monoton bir şekilde ilişkilidir, R ' 2 ve p -değeri de monoton olarak ilişkilidir.$F$$R^2$$p$

Ancak modelle ilgili hemen hemen her şeyi değiştirin ve bu ilişki değişen koşullarda değişmez.

Örneğin, bir nokta yapar ekleme daha büyük ve bir yapar daha küçük kaldırma ama ya da durumu arttırabilir veya azaltmak R 2 gibi görünüyor, bu yüzden F ve R 2 yok zorunlu birlikte eğer hareket veri ekler veya silersiniz. Değişken eklemek azalır ( N - k ) / ( k $(N-k)/(k-1)$$R^2$$F$$R^2$ , ancak artış R 2 (ve tam tersi), bu yüzden daha R, 2 bunlarla ilgili değildir$(N-k)/(k-1)$$R^2$$R^2$Bunu yaptığınızda$F$

Karşılaştırmak kez Açıkçası, ve p -değerlerine genelinde farklı özelliklere sahip modeller whuber doğrusal olmayan dönüşümler durumunda ispat olarak, bu ilişki mutlaka tutmaz.$R^2$$p$

"OLS regresyonu için, daha yüksek bir R-kare de daha yüksek bir P-değeri mi ima eder? Özellikle tek bir açıklayıcı değişken için (Y = a + bX + e)"

Özellikle tek bir açıklayıcı değişken için, örneklem büyüklüğü göz önüne alındığında , cevap evettir. Glen_b açıklandığı gibi, arasında doğrudan bir ilişki vardır ve test istatistik (bir olsun F veya T ). (Diğer söz açıklandığı gibi Örneğin, yüksek R, 2 kare ve yüksek p basit doğrusal regresyonu için-değeri bir ortak değişken (ve bir sabit) ile regresyon doğrusal basit için), arasındaki ilişki, t ve R 2 olduğu:$R^2$$F$$t$$R^2$$p$$t$$R^2$

$|t| = \sqrt{\frac{R^2}{(1- R^2)}(n -2)}$

Bu durumda, düzelttiğinizde , R 2 daha yüksek olur$n$$R^2$$t$

"ancak n çok sayıda açıklayıcı değişken (Y = a + b1X + ... bnX + e) ​​ile de ilgilenmek gerekir."

Cevap aynı, ancak sadece bir değişkene bakmak yerine, şimdi tüm değişkenlere birlikte bakıyoruz - dolayısıyla $F$$n$

Bağlam - Çeşitli değişkenler üzerinde OLS regresyonu gerçekleştiriyorum ve en iyi açıklayıcı fonksiyonel formu geliştirmeye çalışıyorum (...)

Tamam, bu aslında farklı bir problem. En iyi açıklayıcı fonksiyonel forma bakıyorsanız, çapraz doğrulama tekniklerine de göz atmalısınız . , sorununuz için ilgi miktarı olsa bile (genellikle değil), numuneye en uygun olanı bulmak çok yanıltıcı olabilir - genellikle bulgularınızın örneklemden genelleştirilmesini ve doğru çapraz doğrulamanın verilerinizi çok fazla değiştirmemenize yardımcı olur.$R^2$

Ve burada "tahmini" güç istediğinizi tahmin ediyorum ("en iyi açıklayıcı fonksiyonel formu" bulmak istediğinizi söylediğiniz için). Örneğin nedensel çıkarım yapmak istiyorsanız, o zaman $R^2$ veya diğer öngörü performans ölçümleri sorunun daha yapısal / asli bilgisi olmadan çok fazla yararlı olmayacaklardır.