Neden kullanamıyoruz

Bağımlı değişken ile doğrusal bir regresyon modelimiz olduğunu düşünün . Biz onun bulmak . Şimdi, başka bir gerileme yapıyoruz, ancak bu sefer ve benzer şekilde buluyoruz . Hangi modelin daha uygun olduğunu görmek için her iki karşılaştıramayacağım söylendi . Neden? Bana verilen neden, farklı miktarların (farklı bağımlı değişkenler) değişkenliğini karşılaştırmamızdır. Bunun bunun için yeterli bir sebep olması gerektiğinden emin değilim. $y$ $R^2_y$ $\log(y)$ $R^2_{\log(y)}$ $R^2$

Ayrıca bunu resmileştirmenin bir yolu var mı?

Herhangi bir yardım mutluluk duyacağız.

regression data-transformation r-squared

— Denizde yaşlı bir adam.
kaynak

Bunun daha önce Cross Valtedted'te tartışılmış olabileceğinden şüpheleniyorum. Benzer konuları iyice incelediniz mi? Ayrıca, farklı bağımlı değişkenleri (GSYİH'ye karşı petrol fiyatı gibi) veya aynı değişkenin dönüşümlerini (GSYİH'ye karşılık GSYİH büyümesi) veya her ikisini de önemsiyor musunuz?

— Richard Hardy

@RichardHardy Buldum, ama sanırım soruma teğet. Bunun gibi: stats.stackexchange.com/questions/235117/… Cevap sadece evet nedenini açıklamıyor , evet diyor.

— Denizde yaşlı bir adam.

@RichardHardy Bağımlı değişkenin dönüşümleriyle ilgileniyorum.

— Denizde yaşlı bir adam.

R^{2}

$R^2$ karşılaştırmalar sadece iç içe modeller arasında anlamlıdır.

— LVRao

@LVRao Yorumunuz için teşekkürler. Neden böyle?

— Denizde yaşlı bir adam.

Bu iyi bir soru, çünkü "farklı miktarlar" bir açıklama gibi görünmüyor.

Kullanmaktan kaçınmak için iki önemli neden var $R^2$ Bu modelleri karşılaştırmak için: çok kaba ( uyum iyiliğini gerçekten değerlendirmez ) ve modellerden en az biri için uygun olmayacaktır. Bu cevap bu ikinci konuyu ele almaktadır.

Teorik Tedavi

$R^2$ model artıklarının varyansını cevapların varyansı ile karşılaştırır. Varyans, bir uyumdan ortalama bir kare katkı sapmasıdır. Bu nedenle, anlayabiliriz $R^2$ iki tepki modelini karşılaştırarak $y$ .

"Temel" modeli olduğunu

\begin{matrix} (1) & y_{ben} = μ + δ_{ben} \end{matrix}

$y_i = \mu + \delta_i\tag{1}$

nerede $\mu$ bir parametredir (teorik ortalama yanıt) ve $\delta_i$ bağımsız rastgele "hatalar", her biri sıfır ortalama ve ortak varyans $\tau^2$ .

Doğrusal regresyon modeli vektörleri tanıtır $x_i$ açıklayıcı değişkenler olarak:

\begin{matrix} (2) & y_{ben} = β_{0} + x_{ben} β + ε_{ben} . \end{matrix}

$y_i = \beta_0 + x_i \beta + \varepsilon_i.\tag{2}$

Numara $\beta_0$ ve vektör $\beta$ parametrelerdir (kesişme ve "eğimler"). $\varepsilon_i$ yine her biri sıfır ortalama ve ortak varyansa sahip bağımsız rastgele hatalardır $\sigma^2$ .

$R^2$ varyanstaki azalmayı tahmin eder, $\tau^2-\sigma^2$ , orijinal varyansa kıyasla $\tau^2$ .

Logaritmalar aldığınızda ve modele sığması için en küçük kareler kullandığınızda , formun bir ilişkisini dolaylı olarak karşılaştırıyorsunuzdur.

\begin{matrix} (1a) & \log (y_{i}) = ν + ζ_{i} \end{matrix}

$\log(y_i) = \nu + \zeta_i\tag{1a}$

formdan birine

\begin{matrix} (2a) & \log (y_{i}) = γ_{0} + x_{i} γ + η_{i} . \end{matrix}

$\log(y_i) = \gamma_0 + x_i\gamma + \eta_i.\tag{2a}$

Bunlar tıpkı modeller gibi $(1)$ ve $(2)$ ancak günlük yanıtlarıyla. Yine de ilk iki modele denk değiller. Örneğin, $(2\text{a})$ verirdi

y_{i} = \exp (\log (y_{i})) = \exp (γ_{0} + x_{i} γ) \exp (η_{i}) .

$y_i = \exp(\log(y_i)) = \exp(\gamma_0 + x_i\gamma)\exp(\eta_i).$

Hata terimleri $\exp(\eta_i)$ şimdi altta yatan ilişkiyi çarp $y_i = \exp(\gamma_0 + x_i\gamma)$ . Sonuç olarak cevapların varyansları

Var (y_{i}) = \exp (γ_{0} + x_{i} γ)^{2} Var (e^{η_{i}}) .

$\operatorname{Var}(y_i) = \exp(\gamma_0 + x_i\gamma)^2\operatorname{Var}(e^{\eta_i}).$

Varyanslar $x_i$ . Bu model değil $(2)$ , varyansların sabit bir değere eşit olduğunu varsayan $\sigma^2$ .

Genellikle, bu model setlerinden sadece biri verilerin makul bir açıklaması olabilir. İkinci seti uygulama $(1\text{a})$ ve $(2\text{a})$ ilk set ne zaman $(1)$ ve $(2)$ iyi bir modeldir, ya da ikincisi iyi olduğunda, doğrusal olmayan, heterossedastik bir veri kümesiyle çalışmak anlamına gelir, bu nedenle doğrusal bir regresyona zayıf bir şekilde uymalıdır. Bu durumlardan herhangi biri söz konusu olduğunda, daha iyi modelin daha büyük olanı sergilemesini bekleyebiliriz. $R^2$ . Ancak, durumun ikisi de değilse ne olur? Hala daha büyük $R^2$ daha iyi modeli belirlememize yardımcı olmak için?

analiz

Bir anlamda bu iyi bir soru değil, çünkü her iki model de uygun değilse üçüncü bir model bulmalıyız. Ancak, önümüzdeki sorun, $R^2$ bu kararlılığı yapmamıza yardımcı oluyor. Dahası, birçok insan önce arasındaki ilişkinin şekli hakkında düşünüyor $x$ ve $y$ - doğrusal mı, logaritmik mi, başka bir şey mi - regresyon hatalarının özellikleri hakkında endişe duymadan $\varepsilon_i$ veya $\eta_i$ . Bu nedenle, modelimizin ilişkiyi doğru bulduğu, ancak hata yapısı hakkında yanlış olduğu veya tersi olduğu bir durumu ele alalım .

Böyle bir model (yaygın olarak ortaya çıkar), üstel bir ilişkiye uyan en küçük karelerdir,

\begin{matrix} (3) & y_{i} = \exp (α_{0} + x_{i} α) + θ_{i} . \end{matrix}

$y_i = \exp\left(\alpha_0 + x_i\alpha\right) + \theta_i.\tag{3}$

Şimdi logaritması $y$ a, doğrusal işlevi $x$ , de olduğu gibi $(2\text{a})$ , ancak hata terimleri $\theta_i$ katkı maddesi , olduğu gibi $(2)$ . Bu gibi durumlarda $R^2$ arasında yanlış bir ilişki olan modeli seçmemize yol açabilir $x$ ve $y$ .

İşte modelin bir örneği $(3)$ . Var $300$ için gözlemler $x_i$ (1-vektör arasında eşit olarak dağılmış $1.0$ ve $1.6$ ). Sol panel orijinali gösterir $(x,y)$ veriler sağ panelde $(x,\log(y))$ dönüştürülmüş veri. Kesikli kırmızı çizgiler gerçek altta yatan ilişkiyi çizerken, düz mavi çizgiler en küçük kareleri gösterir. Veriler ve gerçek ilişki her iki panelde de aynıdır: sadece modeller ve uyumları farklıdır.

Sağdaki log yanıtlarına uyum açıkça iyidir: neredeyse gerçek ilişkiye rastlar ve her ikisi de doğrusaldır. Soldaki orijinal tepkilere uyum açıkça daha kötüdür: gerçek ilişki üstelken doğrusaldır. Ne yazık ki, oldukça büyük bir değere sahiptir. $R^2$ : $0.70$ nazaran $0.56$ . Bu yüzden güvenmemeliyiz $R^2$ Bizi daha iyi bir modele yönlendirmek için. Bu yüzden uygun olduğunda bile memnun olmamalıyız $R^2$ "yüksek" tir (ve birçok uygulamada, $0.70$ gerçekten yüksek sayılır).

Bu arada, bu modelleri değerlendirmenin daha iyi bir yolu , uyum iyiliği testlerini (sağdaki log modelinin üstünlüğünü gösterecek) ve artıkların durağanlığı için teşhis grafikleri (her iki modelle ilgili sorunları vurgulayacaktır) içerir. Bu tür değerlendirmeler doğal olarak ya $\log(y)$ veya doğrudan modele $(3)$ maksimum olasılık veya doğrusal olmayan en küçük kareler yöntemleri kullanılarak sığması gerekir.

— whuber
kaynak

R ^ 2'ye yönelik eleştiri adil değildir. Her alet gibi kullanımı iyi anlaşılmalıdır. Yukarıdaki örneklerinizde R ^ 2 doğru mesajı veriyor. R ^ 2 bir bakıma daha iyi sinyal / gürültü oranını seçmektedir. Tabii ki tamamen farklı ölçeklerde iki grafiği yan yana koyduğunuzda belli değil. Gerçekte soldaki sinyal, gürültü sapmalarına kıyasla çok güçlüdür.

— Çağdaş Özgenç

@Cagdas Doğası gereği çelişkili bir mesaj sunuyor gibisiniz. İki grafik kaçınılmaz olarak iki farklı ölçekte olduğundan - biri orijinal yanıtları çiziyor, diğeri logaritmalarını çiziyor - sonra bu kaçınılmaz gerçek nedeniyle bir şeyin "açık olmadığı" yalın olduğunu savunuyor gibi görünmüyor. Bu cevabın "haksız" olduğundan şikayet etmek, sunduğum modellerin açık analizinin ışığında gerçekten ayakta kalmıyor.

— whuber

Söylediklerimde herhangi bir çelişki yok. R ^ 2 daha yüksek sinyal / parazit oranını seçer. Yaptığı şey bu. Başka bir şeye çevirmeye çalışmak ve işe yaramadığını iddia etmek tamamen yanlıştır. R ^ 2'ye yönelik tüm eleştiriler, farklı yanıt değişkenine uygulandığında diğer uyum iyiliği göstergeleri için de geçerlidir, ancak bir nedenden dolayı R ^ 2 günah keçisi olarak seçilir.

— Çağdaş Özgenç

Gerçekten bilmek istiyorum, @Cagdas, bu analizin "scapegoating" olarak gördüğünüz kısmı

R^{2}

$R^2$ . Anlayabildiğim kadarıyla, bunun ne olduğuna dair tartışmasız ve teknik olarak doğru bir değerlendirme

R^{2}

$R^2$ başaramaz ve başaramaz. Aslında örnek açıkça daha iyi modelin (tarif ettiğim anlamda, çoğu insanın "uyum iyiliği" ile ne anlama geldiğini anlatır) nasıl ürettiğini gösterdiğinde "gürültü oranlarına sinyal" ifadesinin ne kadar alakalı olduğunu görmüyorum. daha kötü

R^{2}

$R^2$ .

— whuber

Whuber yardımınız için teşekkürler. Geç kabul ettiğim için üzgünüm, son zamanlarda boş zamanım olmadı. ;)

— Denizde yaşlı bir adam.