yararlı mı yoksa tehlikeli mi?

233

İçinden Aşırıyordu bir Özetler (özellikle, Bölüm 2.1.1'de Cosma Shalizi ile ikinci ders ) ve çok düşük alabilirsiniz hatırlatılarak , bir tam olarak doğrusal olmadığı zaman bile. $R^2$

Shalizi örneğini aktaracak olursak: Eğer bir modeli olduğunu varsayalım , bilinir. Sonra ve açıklanan varyans miktarı , böylece . Bu, olarak ve olarak 1'e gider . $Y = aX + \epsilon$ $a$ $\newcommand{\Var}{\mathrm{Var}}\Var[Y] = a^2 \Var[x] + \Var[\epsilon]$ $a^2 \Var[X]$ $R^2 = \frac{a^2 \Var[x]}{a^2 \Var[X] + \Var[\epsilon]}$ $\Var[X] \rightarrow 0$ $\Var[X] \rightarrow \infty$

Tersine, modeliniz belirgin şekilde doğrusal olmasa bile yüksek elde edebilirsiniz $R^2$ . (Herkesin önceden iyi bir örneği var mı?)

Peki ne zaman $R^2$ faydalı bir istatistiktir ve ne zaman dikkate alınmamalıdır?

regression r-squared

— raegtin
kaynak

5

Lütfen başka bir son soruda

— whuber

36

Verilen mükemmel cevaplara ekleyecek istatistiksel bir şeyim yok (özellikle .whuber'ın yazdığı gibi) ama doğru cevabın "R-kare: Faydalı ve tehlikeli" olduğunu düşünüyorum. Hemen hemen her istatistik gibi.

— Peter Flom

32

Bu sorunun cevabı: "Evet"

— Fomite

Başka bir cevap için bkz. Stats.stackexchange.com/a/265924/99274 .

— Carl

Örnek komut dosyasından ne bize söyleyebilir sürece çok kullanışlı değildir nedir? Eğer sabit de, sonra / onu argüman o zamandan beri yanlış olduğunu Ancak, eğer olduğu sabit olmayan , çizmek lütfen karşı küçük için ve bu ........ doğrusal olduğunu söyle

Var (a X + ϵ)

$\text{Var}(aX+\epsilon)$

ϵ

$\epsilon$

ϵ

$\epsilon$

Var (a X + b) = a^{2} Var (X)

$\text{Var}(aX+b)=a^2\text{Var}(X)$

ϵ

$\epsilon$

Y

$Y$

X

$X$

Var (X)

$\text{Var}(X)$

— Dan

264

Gidermek için ilk soruyu , modelini dikkate

Y = X + \sin (X) + ε

$Y = X + \sin(X) + \varepsilon$

iid ile ortalama sıfır ve sonlu varyans. aralığı (sabit veya rastgele olarak düşünülür) arttıkça, olur. Bununla birlikte, varyansı küçükse (yaklaşık 1 veya daha az), veriler "gözle görülür şekilde doğrusal değildir" olur. Grafiklerde, . $\varepsilon$ $X$ $R^2$ $\varepsilon$ $var(\varepsilon)=1$

Kısa X aralığı

Daha geniş X aralığı

Bu arada, küçük bir elde etmenin kolay bir yolu bağımsız değişkenleri dar aralıklarda dilimlemek. Her aralığın içindeki regresyon ( tam olarak aynı modeli kullanarak ) , tüm verilere dayalı tam regresyonun yüksek bir sahip olması durumunda bile düşük olacaktır . Bu durumu düşünmek bilgilendirici bir alıştırma ve ikinci soru için iyi bir hazırlıktır. $R^2$ $R^2$ $R^2$

Aşağıdaki grafiklerin her ikisi de aynı verileri kullanır. , tam regresyon için 0.86 olduğunu. (5/2 -5/2 için eni 1/2) dilimleri vardır .16, .18, .07, .14, .08, .17, .20, .12, .01 için .00, soldan sağa okuma. Herhangi bir şey olursa , dilimlenmiş durumda uyumlar daha iyi olur çünkü 10 ayrı çizgi dar aralıkları içindeki verilere daha yakın olabilir. Her ne kadar , tüm dilimleri kadar tam altında , ne ilişkinin kuvveti, doğrusallık , ne de gerçekten bir veri yönünde (aralığı dışında regresyon analizi için kullanılır) değişmiştir. $R^2$ $R^2$ $R^2$ $R^2$ $X$

Tam gerilemeli bulut göster

10 regresyonlu dilimli nokta bulutu

(Bu dilimleme prosedürünün dağılımını değiştirmesine itiraz edilebilir . Bu doğru, ancak yine de sabit etki modellemesinde en yaygın kullanımı ile uyuşuyor ve bize ne derece anlattığını gösteriyor varyans rastgele etki durumda. özellikle de, doğal dizi daha küçük bir aralık içinde değişebilir şekilde sınırlanmıştır genellikle düşer.) $X$ $R^2$ $R^2$ $X$ $X$ $R^2$

ile ilgili temel problem , çok fazla şeye (çoklu regresyonda ayarlandığında bile), fakat özellikle bağımsız değişkenlerin varyansına ve artıkların varyansına bağlı olmasıdır. Normalde bize , bir model sırasını karşılaştırmak için "doğrusallık" veya "ilişkinin gücü" veya "uyumun iyiliği" hakkında hiçbir şey söylemez . $R^2$

Çoğu zaman daha iyi bir istatistik bulabilirsiniz . Model seçimi için AIC ve BIC; Bir modelin yeterliliğini ifade etmek için, artıkların varyansına bakın. $R^2$

Bu bizi nihayet ikinci soruya getiriyor . bazı kullanımlarının olabileceği bir durum , bağımsız değişkenlerin standart değerlere ayarlanmasıdır, esasen değişkenliklerinin etkisini kontrol eder. Öyleyse , artıkların standartlarına göre ayarlanan artıkların varyansı için gerçekten bir vekil. $R^2$ $1 - R^2$

— whuber
kaynak

26

@Whuber tarafından ne şaşırtıcı derecede kapsamlı ve duyarlı bir cevap

— Peter

AIC ve BIC, tahmini parametre sayısını açıkça ayarlamıyor mu? Öyleyse, R ^ 2 ile karşılaştırılması ve ayarlanması haksız görünüyor. Öyleyse, eleştirinin R ^ 2 düzeltilmiş mi? 'Dilimleme' için cezalandırıldıysanız, R ^ 2 ayarının size modelin uygunluğunun iyi olduğunu söylemeye geri döneceği anlaşılıyor.

— russellpierce

7

@dr Benim eleştirim ayarlanmış için mükemmel . ile ayarlanan arasında çok fazla fark olduğu durumlar , verilere kıyasla çok fazla parametre kullanıyorsanız . Dilimleme örneğinde yaklaşık 1.000 veri noktası vardı ve dilimleme sadece 18 parametre ekledi; için ayarlamalar hatta belki sadece birkaç düzine veri noktaları vardı uç kesimleri hariç, ikinci ondalık yer etkilemeyeceği: ve olur düşürmek aslında argüman güçlendirilmesi, onları.

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— whuber

5

İlk yorumunuzdaki sorunun cevabı, hedefinize bağlı olmalıdır ve “doğrusal bir ilişki için test etme” yi yorumlamanın birkaç yolu vardır. Birincisi, katsayının sıfır olup olmadığını test etmek istiyorsunuz. Bir diğeri ise, doğrusal olmayanlık kanıtı olup olmadığını bilmek istersiniz. (kendi başına) her ikisi için de son derece yararlı değil, ancak bol miktarda veri içeren yüksek bir saçılma grafiğinin kabaca doğrusal göründüğü anlamına geliyor - ikincisi gibi veya @ macro örneğindeki gibi. Her hedef için uygun bir test ve bununla ilişkili p değeri vardır.

R^{2}

$R^2$

R^{2}

$R^2$

— whuber

4

İkinci sorunuz için, "en iyi" doğrusal uyumla neyin kastedildiğini merak etmeliyiz. Bir aday, artık kareler toplamını en aza indiren herhangi bir uygun olacaktır. bunun için bir proxy olarak güvenle kullanabilirsiniz , ancak neden (düzeltilmiş) kök ortalama kare hatasının kendisini incelemiyorsunuz? Daha faydalı bir istatistik.

R^{2}

$R^2$

— whuber

47

Değişken ettiğinizde örnek geçerlidir modelinde olmalıdır . Bir kişi normal en küçük kareler tahminlerini kullandığında kesinlikle geçerli değildir. Bunu görmek için, tahminimiz eğer dikkat sizin örnekte en küçük kareler elde ederiz: $\newcommand{\Var}{\mathrm{Var}}X$ $a$

\hat{a} = \frac{\frac{1}{N} \sum_{i = 1}^{N} X_{i} Y_{i}}{\frac{1}{N} \sum_{i = 1}^{N} X_{i}^{2}} = \frac{\frac{1}{N} \sum_{i = 1}^{N} X_{i} Y_{i}}{s_{X}^{2} + {\bar{X}}^{2}}

$\hat{a}=\frac{\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}}{\frac{1}{N}\sum_{i=1}^{N}X_{i}^{2}}=\frac{\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}}{s_{X}^{2}+\overline{X}^{2}}$ Burada ve (örnek) varyans ve olduğu (örnek) ortalaması

s_{X}^{2} = \frac{1}{N} \sum_{i = 1}^{N} (X_{i} - \bar{X})^{2}

$s_{X}^2=\frac{1}{N}\sum_{i=1}^{N}(X_{i}-\overline{X})^{2}$

X

$X$

\bar{X} = \frac{1}{N} \sum_{i = 1}^{N} X_{i}

$\overline{X}=\frac{1}{N}\sum_{i=1}^{N}X_{i}$

X

$X$

{\hat{a}}^{2} V a r [X] = {\hat{a}}^{2} s_{X}^{2} = \frac{{(\frac{1}{N} \sum_{i = 1}^{N} X_{i} Y_{i})}^{2}}{s_{X}^{2}} {(\frac{s_{X}^{2}}{s_{X}^{2} + {\bar{X}}^{2}})}^{2}

$\hat{a}^{2}\Var[X]=\hat{a}^{2}s_{X}^{2}=\frac{\left(\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}\right)^2}{s_{X}^2}\left(\frac{s_{X}^{2}}{s_{X}^{2}+\overline{X}^{2}}\right)^2$

Şimdi ikinci terim her zaman daha az olduğu (eşit sınır olarak) bu nedenle, bir elde üst sınır katkı için değişken ile ilgili : $1$ $1$ $R^2$ $X$

{\hat{a}}^{2} V a r [X] \leq \frac{{(\frac{1}{N} \sum_{i = 1}^{N} X_{i} Y_{i})}^{2}}{s_{X}^{2}}

$\hat{a}^{2}\Var[X]\leq \frac{\left(\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}\right)^2}{s_{X}^2}$

Bu yüzden gibi, aslında göreceğiz olarak (pay sıfıra gittiği için, ancak payda gider ). Ek olarak, iki terimin ne kadar çabuk ayrıldığına bağlı olarak ile arasında bir şeye yaklaşmasını sağlayabiliriz . Şimdi, yukarıdaki terim, eğer modelde , daha hızlı ve ise modelde olmamalıysa daha yavaş ayrılacaktır. Her iki durumda da doğru yönlere gider. $\left(\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}\right)^2\to\infty$ $R^2\to 0$ $s_{X}^{2}\to\infty$ $\Var[\epsilon]>0$ $R^2$ $0$ $1$ $s_{X}^2$ $X$ $X$ $R^2$

Ayrıca, herhangi bir sonlu veri seti için (yani gerçek bir veri), tüm hatalar tamamen sıfır olmadıkça , asla olamayacağımızı unutmayın. Bu, temel olarak, nin mutlak bir ölçekten ziyade göreceli bir ölçü olduğunu gösterir . Çünkü aslında eşit değilse , her zaman daha uygun bir model bulabiliriz. Bu muhtemelen “tehlikeli” yönüdür, çünkü ile arasında olacak şekilde ölçeklendiği için mutlak anlamda araya girebiliriz gibi görünüyor. $R^2=1$ $R^2$ $R^2$ $1$ $R^2$ $0$ $1$

Modele değişkenleri eklediğinizde değerinin ne kadar çabuk düştüğünü görmek muhtemelen daha yararlı olacaktır . Ve son olarak, fakat en az değil, değişken seçiminde asla göz ardı edilmemelidir, çünkü değişken seçim için etkili bir istatistiktir - değişken seçimdeki veriler hakkındaki tüm bilgileri içerir. Gerekli olan tek şey, genellikle örnek büyüklüğüne ve değişken sayısına bağlı olarak, "hataları yerleştirmeye" karşılık gelen düşümü seçmektir . $R^2$ $R^2$ $R^2$

— probabilityislogic
kaynak

4

+1 Çok güzel puan. Hesaplamalar önceki cevaplara niceliksel bakış açısı ekler.

— whuber

27

tehlikeli olduğunda ne zaman bir örnek ekleyebilir miyim . Yıllar önce bazı biyometrik veriler üzerinde çalışıyordum ve genç ve aptal olmak, adım adım işlevler kullanarak yaptığım fantezi gerilemelerim için istatistiksel olarak anlamlı değerleri bulduğum için çok mutlu oldum . Sadece sonradan büyük bir uluslararası kitleye geri sunumdan sonra bakıyordu ben veri büyük varyansını verilen olduğunu fark yaptı - nüfusa göre numunenin olası kötü temsil ile birlikte bir 0.02 tamamen anlamsızdı "istatistiksel olarak anlamlı" olsa bile ... $R^2$ $R^2$ $R^2$

İstatistiklerle çalışanlar verileri anlamalıdır!

— Sean
kaynak

15

Ne anlama geldiğini anlarsanız, hiçbir istatistik tehlikeli değildir. Sean'ın örneğinin R karesiyle hiçbir ilgisi yoktur, bu istatistiksel olarak önem arzeden genel bir sorundur. Pratikte istatistiksel testler yaptığımızda, yalnızca anlamlı farklılıklarla ilgileniyoruz. İki popülasyon asla aynı dağılımlara sahip değildir. Eşit değerlere yakınsa umurumuzda değil. Çok büyük örneklem büyüklükleriyle küçük önemsiz farklılıkları tespit edebiliriz. Bu yüzden tıbbi araştırma danışmanlığımda klinik ve istatistiksel önem arasındaki farkı vurguluyorum.

— Michael Chernick

11

Başlangıçta müşterilerim genellikle araştırmanın amacı olarak istatistiksel öneminin zayıf olduğunu düşünüyorlar. Durum böyle olmadığını göstermeleri gerekir.

— Michael Chernick

0.02'de istatistiksel olarak anlamlı bir basitçe, 0 olmadığını iddia etmek için yeterli veriye sahip olduğunuz anlamına gelir. Fakat 0'a yakındır. Dolayısıyla, bağımsız değişkenler ile bağımlı değişken arasında çok az bir ilişki vardır.

R^{2}

$R^2$

R^{2}

$R^2$

— Michael Chernick,

1

Kesinlikle katılıyorum Michael. Biraz istatistik bilgisi tehlikeli olabilir! :) Yıllar önce yapılan bu kavrayışa dayanarak, istatistiklerin gerçekte ne anlama geldiğini daha iyi anlamak için çok fazla çalışarak bu aptalca hatayı tekrarlamamak için çok çalıştım. Yüksek lisans derecesi ve istatistik alanında doktora yaptım ve çalışmalarıma devam etmem için uzun bir yolum olduğunu düşünüyorum!

— Sean,

Teşekkürler Sean. Yorumlarınızı ve alçakgönüllülüğünüzü takdir ediyorum.

— Michael Chernick

16

Tek bir tahminde bulunduğunuzda, , ile arasındaki doğrusal ilişki ile açıklanabilecek bir varyasyon oranı olarak tam olarak yorumlanır . Bu yorum değerine bakarken akılda tutulmalıdır . $R^{2}$ $Y$ $X$ $R^2$

Doğrusal olmayan bir ilişkiden büyük bir elde edebilirsiniz, ancak ilişki doğrusal olana yakın olduğunda. Örneğin, varsayalım ki burada ve . Eğer hesaplama yaparsanız $R^2$ $Y = e^{X} + \varepsilon$ $X \sim {\rm Uniform}(2,3)$ $\varepsilon \sim N(0,1)$

R^{2} = c o r (X, e^{X} + ε)^{2}

$R^{2} = {\rm cor}(X, e^{X} + \varepsilon)^{2}$

Etrafında olmasını bulacaksınız ilişki açıkça doğrusal olmadığı rağmen (sadece simülasyonla bu yaklaşık olarak). Bunun nedeni, aralığında doğrusal bir fonksiyona benzeyen çok fazla görünmesidir . $.914$ $e^{X}$ $(2,3)$

— Makro
kaynak

1

Erik ve Makro tarafından verilen aşağıdaki açıklamalara göre, kimsenin benim için çözmediğini düşünüyorum ve üç ayrı cevap yerine bir birleştirilmiş cevabın olması daha iyi olabilir ama neden bu kadar çok tartışmanın sizin yerinize odaklanacağı kadar önemli? söylenenlere odaklanmak yerine bir şeyler yazın ve nereye yazın?

— Michael Chernick

8

@MichaelChernick, birinin nasıl yazdığı hakkında "çok fazla" tartışma olduğunu sanmıyorum. Size yardım etmeye çalıştığımız kurallar, "eğer herkes bunu yaptıysa, bu site çok dağınık ve takip etmesi zor olacak" çizgileri boyunca daha fazladır. Bu konular hakkında çok fazla tartışma var gibi görünebilir, ancak bu muhtemelen katıldığınızdan beri çok aktif bir katılımcı olmanızdan kaynaklanmaktadır, ki bu harika, çünkü masaya çok fazla şey getirdiniz. Bunun hakkında daha fazla konuşmak istiyorsanız, ilgisiz cevabım altındaki yorum tartışmaları yerine metada bir konu başlatmayı düşünün :)

— Makro

bir örnek, örneğinizde tek tip dağıtım dağılımını destekliyorsa ne oldu?

— Qbik

Bu sitede deneyim kazandıkça, Makro ile özlü olmanın ve birleştirmenin önemli olduğu konusunda hemfikir olmalıyım.

— Michael Chernick

15

den kaçınmak isteyebileceğiniz bir durum , modele alakasız tahmin değişkenlerinin eklenmesinin bazı durumlarda artırabildiği çoklu regresyondur . Bunun yerine, düzeltilmiş değeri kullanılarak adreslenebilir. $R^2$ $R^2$ $R^2$

$\bar{R}^2 = 1 - (1-R^2)\frac{n-1}{n-p-1}$ burada , veri örneklerinin sayısıdır ve , sabit terimi saymayan regresörlerin sayısıdır. . $n$ $p$

— jedfrancis
kaynak

21

Alakasız değişkenler eklenmesinin, bu değişkenler mevcut değişkenlerle tamamen aynı olmadıkça (yalnızca "bazı durumlarda" değil) artırma garantisi olduğunu unutmayın .

R^{2}

$R^2$

— whuber

6

Doğrusal olmayan bir işlevi olan yüksek için iyi bir örnek aralığı ile sınırlı olan ikinci dereceli işlevidir . 0 parazitle , eğer 3 veya daha fazla puana sahipseniz kare 1 olmaz. Dizayn noktaları üzerine homojen bir şekilde dağılmış Ancak olsun belki de şaşırtıcı bir şekilde çok yüksek olacaktır. Ortada çok az ya da hiç olmayan ya da hiç olmayan 0'a yakın ve 1'e çok yakın puanınız varsa, bu durum böyle olmayabilir. $R^2$ $y=x^2$ $[0,1]$ $R^2$ $[0, 1]$ $R^2$
$R^2$ Gürültü terimi büyük bir değişkenliğe sahipse, mükemmel doğrusal durumda zayıf olacaktır. Yani teknik olarak mükemmel bir lineer model olan modelini alabilir, ancak e'deki değişimin sonsuzluğa düşmesine izin verir ve 0 olur. Eksikliklerine rağmen R kare yüzdesini ölçer Veriler tarafından açıklanan varyans ve bu nedenle uyum iyiliğini ölçmektedir. Yüksek iyi bir uyum sağlar, ancak sahip olduğumuz veri setinin boyutu için çok fazla parametrenin neden olduğu iyi uyuma dikkat etmemiz gerekir. $Y= x + \epsilon$ $R^2$ $R^2$
Çoklu regresyon durumunda, çok büyük bir problem var. Değişkenler her zaman artar. Düzeltilmiş bunu, parametre sayısını hesaba katan bir şekilde telafi eder. $R^2$ $R^2$

— Michael Chernick
kaynak