GAM uyumunun özeti


12

Aşağıdaki gibi bir GAM takarsak:

gam.fit = gam::gam(Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, df = 2) + 
    s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, df = 2), data = College)

Burada, Collegepaketin içinde bulunan veri kümesini kullanıyoruz ISLR.
Şimdi, bu uyumun özetini bulursak, şunu görebiliriz:

> summary(gam.fit)

Call: gam(formula = Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, 
    df = 2) + s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, 
    df = 2), data = College)
Deviance Residuals:
     Min       1Q   Median       3Q      Max 
-7522.66 -1140.99    55.18  1287.51  7918.22 

(Dispersion Parameter for gaussian family taken to be 3475698)

    Null Deviance: 12559297426 on 776 degrees of freedom
Residual Deviance: 2648482333 on 762.0001 degrees of freedom
AIC: 13924.52 

Number of Local Scoring Iterations: 2 

Anova for Parametric Effects
                        Df     Sum Sq    Mean Sq F value    Pr(>F)    
Private                  1 3377801998 3377801998 971.834 < 2.2e-16 ***
s(Room.Board, df = 2)    1 2484460409 2484460409 714.809 < 2.2e-16 ***
s(PhD, df = 2)           1  839368837  839368837 241.496 < 2.2e-16 ***
s(perc.alumni, df = 2)   1  509679160  509679160 146.641 < 2.2e-16 ***
s(Expend, df = 5)        1 1019968912 1019968912 293.457 < 2.2e-16 ***
s(Grad.Rate, df = 2)     1  148052210  148052210  42.596 1.227e-10 ***
Residuals              762 2648482333    3475698                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Anova for Nonparametric Effects
                       Npar Df Npar F   Pr(F)    
(Intercept)                                      
Private                                          
s(Room.Board, df = 2)        1  3.480 0.06252 .  
s(PhD, df = 2)               1  1.916 0.16668    
s(perc.alumni, df = 2)       1  1.471 0.22552    
s(Expend, df = 5)            4 34.350 < 2e-16 ***
s(Grad.Rate, df = 2)         1  1.981 0.15971    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Burada "Parametrik etkiler için Anova" ve "Parametrik olmayan etkiler için Anova" bölümünün anlamını anlamıyorum. ANOVA testinin çalışmasını bilmeme rağmen, özetin "parametrik etkileri" ve "parametrik olmayan etkileri" kısmını anlayamıyorum.Yani, ne anlama geliyorlar? Önemi nedir?


Bu soru bu cevabın (d) kısmından , istatistiksel öğrenmenin tanıtımı , soru 10, bölüm 7 nedeniyle ortaya çıkmıştır .

Yanıtlar:


22

Bu yaklaşımın GAM'lara uydurma yapısının çıktısı, düzleştiricilerin doğrusal kısımlarını diğer parametrik terimlerle gruplandırmaktır. Bildirimin Privateilk tabloda bir girişi vardır ancak ikinci tabloda girişi boştur. Bunun nedeni Privatekesinlikle parametrik bir terimdir; bir faktör değişkendir ve bu nedenle etkisini gösteren tahmini bir parametreyle ilişkilendirilir Private. Yumuşak terimlerin iki tür etkiye ayrılmasının nedeni, bu çıktının yumuşak bir terimin olup olmadığına karar vermenize izin vermesidir

  1. doğrusal olmayan bir etki : parametrik olmayan tabloya bakın ve önemini değerlendirin. Önem varsa, düzgün doğrusal olmayan bir etki olarak bırakın. Önemsiz ise, doğrusal etkiyi göz önünde bulundurun (aşağıda 2.)
  2. doğrusal bir etki : parametrik tabloya bakın ve doğrusal etkinin önemini değerlendirin. Anlamlı ise, terimi tanımlayan formülde terimi düz s(x)-> haline getirebilirsiniz x. Eğer önemsiz ise, terimi modelden tamamen çıkarmayı düşünebilirsiniz (ancak buna dikkat edin --- bu, gerçek etkinin == 0 olduğu güçlü bir ifadeye karşılık gelir).

Parametrik tablo

Buradaki girdiler, bu doğrusal modeli taktıysanız ve ANOVA tablosunu hesapladıysanız alacağınız gibidir, ancak ilişkili model katsayıları için tahmin gösterilmez. Tahmini katsayılar ve standart hatalar ve ilişkili t veya Wald testleri yerine, açıklanan varyans miktarı (karelerin toplamları açısından) F testleriyle birlikte gösterilir. Birden fazla ortak değişken (veya ortak değişkenlerin işlevleri) ile donatılmış diğer regresyon modellerinde olduğu gibi, tablodaki girişler modeldeki diğer terimlere / işlevlere bağlıdır.

Parametrik olmayan tablo

Parametrik olmayan etkiler donatılmış kenar şeritleri doğrusal olmayan parça ile ilgilidir. Bu doğrusal olmayan etkilerin, doğrusal olmayan etkisi hariç önemlidir Expend. Doğrusal olmayan etkisinin bazı kanıtları vardır Room.Board. Npar DfBunların her biri bir dizi parametrik olmayan serbestlik derecesi ( ) ile ilişkilidir ve yanıttaki miktarı bir F testi ile değerlendirilen bir varyasyon miktarını açıklar (varsayılan olarak, argümana bakınız test).

Parametrik olmayan bölümdeki bu testler, doğrusal olmayan bir ilişki yerine doğrusal bir ilişkinin sıfır hipotezinin testi olarak yorumlanabilir .

Bunu yorumlayabilme şekliniz, yalnızca Expenddüzgün doğrusal olmayan bir etki olarak ele alınma emridir. Diğer düzeltmeler doğrusal parametrik terimlere dönüştürülebilir. Diğer düzeltmeleri Room.Boarddoğrusal, parametrik terimlere dönüştürdüğünüzde düzgünleştirmenin parametrik olmayan bir etkisi olmaya devam ettiğini kontrol etmek isteyebilirsiniz ; etkisi Room.Boardbiraz doğrusal olmayabilir , ancak bu modeldeki diğer düz terimlerin varlığından etkileniyor olabilir.

Bununla birlikte, bunun çoğu, birçok düzlemenin sadece 2 serbestlik derecesine izin verilmiş olmasına bağlı olabilir; neden 2?

Otomatik pürüzsüzlük seçimi

GAM'lerin takılmasına yönelik daha yeni yaklaşımlar, önerilen paket mgcv'de uygulandığı gibi Simon Wood'un cezalandırılmış spline yaklaşımı gibi otomatik pürüzsüzlük seçim yaklaşımları yoluyla sizin için pürüzsüzlük derecesini seçecektir :

data(College, package = 'ISLR')
library('mgcv')

set.seed(1)
nr <- nrow(College)
train <- with(College, sample(nr, ceiling(nr/2)))
College.train <- College[train, ]
m <- mgcv::gam(Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
               s(Expend) + s(Grad.Rate), data = College.train,
               method = 'REML')

Model özeti daha özlüdür ve düzgün işlevi doğrusal (parametrik) ve doğrusal olmayan (parametrik olmayan) katkılardan ziyade doğrudan bir bütün olarak değerlendirir:

> summary(m)

Family: gaussian 
Link function: identity 

Formula:
Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
    s(Expend) + s(Grad.Rate)

Parametric coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8544.1      217.2  39.330   <2e-16 ***
PrivateYes    2499.2      274.2   9.115   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Approximate significance of smooth terms:
                 edf Ref.df      F  p-value    
s(Room.Board)  2.190  2.776 20.233 3.91e-11 ***
s(PhD)         2.433  3.116  3.037 0.029249 *  
s(perc.alumni) 1.656  2.072 15.888 1.84e-07 ***
s(Expend)      4.528  5.592 19.614  < 2e-16 ***
s(Grad.Rate)   2.125  2.710  6.553 0.000452 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

R-sq.(adj) =  0.794   Deviance explained = 80.2%
-REML = 3436.4  Scale est. = 3.3143e+06  n = 389

Şimdi çıktı yumuşak terimleri ve parametrik terimleri ayrı tablolara toplar, çıktı ise doğrusal bir modele benzer şekilde daha tanıdık bir çıktı alır. Yumuşak terimlerin tüm etkisi alt tabloda gösterilmiştir. Bunlar, gösterdiğiniz gam::gammodelle aynı testler değildir ; null hipotezine karşı pürüzsüz etkinin düz, yatay bir çizgi, boş bir etki veya sıfır etki gösteren testlerdir. Alternatif, gerçek doğrusal olmayan etkinin sıfırdan farklı olmasıdır.

EDF'lerin 2'den büyük olduğuna dikkat edin, s(perc.alumni)bu da gam::gammodelin biraz kısıtlayıcı olabileceğini düşündürmektedir.

Karşılaştırma için uygun pürüzsüzler

plot(m, pages = 1, scheme = 1, all.terms = TRUE, seWithMean = TRUE)

hangi üretir

resim açıklamasını buraya girin

Otomatik pürüzsüzlük seçimi, terimlerin modelden tamamen çekilmesi için de seçilebilir:

Bunu yaptıktan sonra, model uyumunun gerçekten değişmediğini görüyoruz

> summary(m2)

Family: gaussian 
Link function: identity 

Formula:
Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
    s(Expend) + s(Grad.Rate)

Parametric coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8539.4      214.8  39.755   <2e-16 ***
PrivateYes    2505.7      270.4   9.266   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Approximate significance of smooth terms:
                 edf Ref.df      F  p-value    
s(Room.Board)  2.260      9  6.338 3.95e-14 ***
s(PhD)         1.809      9  0.913  0.00611 ** 
s(perc.alumni) 1.544      9  3.542 8.21e-09 ***
s(Expend)      4.234      9 13.517  < 2e-16 ***
s(Grad.Rate)   2.114      9  2.209 1.01e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

R-sq.(adj) =  0.794   Deviance explained = 80.1%
-REML = 3475.3  Scale est. = 3.3145e+06  n = 389

Tüm düzleştirmeler, yivlerin doğrusal ve doğrusal olmayan kısımlarını daralttıktan sonra bile biraz doğrusal olmayan etkiler önermektedir.

Şahsen, mgcv'den çıktıyı yorumlamak daha kolay buluyorum ve otomatik pürüzsüzlük seçim yöntemlerinin veriler tarafından destekleniyorsa doğrusal bir etkiye uyma eğilimi gösterdiği için.


4
+1 Harika açıklama. (Yine de "parametrik olmayan bir F testi" ile ne demek istediğinizi merak ediyorum: standart bir F testinden nasıl farklı olurdu?)
whuber

4
@whuber bu sadece zayıf ifadeler; standart bir F testidir, ancak düzlemelerin doğrusal ve doğrusal olmayan parçalara ayrışması nedeniyle, çıktının "parametrik olmayan" bit olarak adlandırdığı şeyin testleridir. Bunu düzenleyeceğim.
Monica'yı eski durumuna getirin - G. Simpson

3
p-değerleri bu şekilde çalışmaz; testin bile gerçekleştirilmesi için sıfır hipotezinin doğru olduğunu varsaydık . Bu testin yaptığı şey, ilişkinin doğrusal olduğunu varsayalım, bu varsayımla ne kadar çelişki olduğunu kanıtlar ortaya koyuyor? Verilerin getirdiği kanıtlar, sıfırın doğru olup olmadığını beklediğimiz verilerle tutarlıysa. Eğer kanıtlar sıfır hipotezi ile tutarsızsa, sıfırın doğru olması durumunda yaptığımız verileri gözlemlememiz pek olası değildir. P değeri null değerine karşı kanıtın bir ölçüsüdür.
Monica'yı eski

1
Parametrik tablodan bahsediyorsunuz: "Buradaki girişler, bunu doğrusal bir model olarak takıp ANOVA tablosunu hesaplarsanız elde edeceğiniz şeydir." Bunun tam anlamıyla doğru olmadığını varsayıyorum (yani modelin doğrusal olmayan kısmının doğrusal kısım için önem tahminlerini etkilememesi). Elbette lineer ve lineer olmayan parçaların tahmini ortaklaşa yapılır ve lineer olmayan kısım lineer kısım için katsayıları ve ayrıca önemi etkiler, değil mi?
Jacob Socolar

1
@JacobSocolar Anladığım kadarıyla, spline doğrusal bir bileşene ve doğrusal olmayan bazı bileşenlere (sayıları spline için izin verilen serbestlik derecelerine bağlı olarak) ayrıştırılabilir. Demek istediğim, bu, doğrusal bir model uyumundan sonra ANOVA'dan (yani ortalama kare için bir F testi) alacağınız çıktı türüdür. Ancak evet, bunlar modelin bir kısmı tarafından açıklanan varyansın modeldeki diğer terimlere (& temel işlevlere) bağlı olması bakımından kısmi etkilerdir. Ve evet, bu alıntıyı tam anlamıyla kastetmedim; "Ne istersen ..." diye yeniden yazacağım.
Monica'yı eski durumuna getirin - G. Simpson
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.