İşte basit bir örnek. R'ye aşina olup olmadığınızı bilmiyorum, ancak umarım kod yeterince açıklayıcıdır.
set.seed(9) # this makes the example reproducible
N = 36
# the following generates 3 variables:
x1 = rep(seq(from=11, to=13), each=12)
x2 = rep(rep(seq(from=90, to=150, by=20), each=3 ), times=3)
x3 = rep(seq(from=6, to=18, by=6 ), times=12)
cbind(x1, x2, x3)[1:7,] # 1st 7 cases, just to see the pattern
x1 x2 x3
[1,] 11 90 6
[2,] 11 90 12
[3,] 11 90 18
[4,] 11 110 6
[5,] 11 110 12
[6,] 11 110 18
[7,] 11 130 6
# the following is the true data generating process, note that y is a function of
# x1 & x2, but not x3, note also that x1 is designed above w/ a restricted range,
# & that x2 tends to have less influence on the response variable than x1:
y = 15 + 2*x1 + .2*x2 + rnorm(N, mean=0, sd=10)
reg.Model = lm(y~x1+x2+x3) # fits a regression model to these data
Şimdi bunun neye benzediğini görelim:
. . .
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -1.76232 27.18170 -0.065 0.94871
x1 3.11683 2.09795 1.486 0.14716
x2 0.21214 0.07661 2.769 0.00927 **
x3 0.17748 0.34966 0.508 0.61524
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
. . .
F-statistic: 3.378 on 3 and 32 DF, p-value: 0.03016
Çıktının "Katsayılar" bölümüne odaklanabiliriz. Model tarafından tahmin edilen her parametre kendi satırını alır. Gerçek tahminin kendisi ilk sütunda listelenir. İkinci sütun , tahminlerin Standart Hatalarını listeler , yani bu işlemi tekrar tekrar tekrarlayacak olsaydık, tahminlerin numuneden numuneye ne kadar "zıplayacağını" tahmin eder. Daha spesifik olarak, tahminin örnekleme dağılımının standart sapmasının bir tahminidir. Her bir parametre tahminini SE'ye bölersek , üçüncü sütunda listelenen bir t puanı alırız ; bu, hipotez testi için, özellikle parametre tahmininin 0'dan 'önemli ölçüde farklı olup olmadığını test etmek için kullanılır. Son sütuno t-skoruyla ilişkili p-değeri . Eğer sıfır hipotezi doğruysa , 0'dan çok veya daha fazla bir tahmini değer bulma olasılığıdır . Eğer sıfır hipotezi doğru değilse, bu değerin bize hiç anlamlı bir şey söylemediği açık değildir.
Katsayılar tablosu ile yukarıdaki gerçek veri oluşturma süreci arasında ileri geri bakarsak, birkaç ilginç şey görebiliriz. Kesme noktasının -1.8 ve SE'sinin 27 olduğu tahmin edilirken, gerçek değer 15'tir. İlişkili p değeri .95 olduğundan, 0'dan ( tip II hatası ) 'önemli ölçüde farklı' olarak kabul edilmez , ancak yine de olduğu içinde gerçek değerin bir GD. Dolayısıyla, gerçek değer ve dalgalanması gereken miktar açısından bu tahminde aşırı derecede aşırı bir şey yoktur; onu 0'dan ayırmak için yeterli güce sahip değiliz . Aynı hikaye aşağı yukarıx1. Veri analistleri tipik olarak bunun 'marjinal olarak önemli' olmadığını bile söylerler, çünkü p değeri> .10'dur, ancak bu başka bir tip II hatasıdır. Tahmin x2oldukça doğrudur ve p değeri doğru bir karar olan 'son derece önemlidir'. ayrıca 0, p = .62'den başka bir doğru karardan ayırt edilemedi (x3 yukarıdaki gerçek veri oluşturma sürecinde görünmüyor). İlginç bir şekilde p-değeri , her ikisi de tip II hataları olan kesişme değerinden daha büyük , ancak kesişme değerinden daha düşüktür. Son olarak, Katsayılar tablosunun altına bakarsak , model için eşzamanlı bir test olan F değerini görürüz . Bu test, modelin bir bütün olarak olup olmadığını kontrol eder..21214 ≈ .2x3x1cevap değişkenini sadece şanstan daha iyi tahmin eder. Bunu söylemenin başka bir yolu da, tüm tahminlerin 0'dan farklı olamayacağı düşünülüp düşünülmeyeceğidir. Bu testin sonuçları, parametre tahminlerinin en azından bir kısmının, doğru ve doğru bir karar olan 0'a eşit olmadığını göstermektedir. Yukarıda 4 test olduğundan, bu olmadan çoklu karşılaştırma probleminden korunmamamız gerekir . (P değerleri rastgele değişkenler olduğu için - bir şeyin anlamlı olup olmadığı deneyden deneye değişebilir, eğer deney tekrar çalıştırılırsa - bunların birbiriyle tutarsız olması mümkündür. CV burada: Çoklu regresyonda katsayıların önemi: anlamlı t-testi ve anlamlı olmayan F-istatistiği, ve tam tersi durum: Bir regresyon nasıl önemli olabilir, ancak tüm öngörücüler anlamlı olmayabilir & burada: regresyondaki F ve t istatistikleri .) Belki de merakla, bu örnekte tip I hataları yoktur . Her halükarda, bu paragrafta tartışılan testlerin 5 tanesi de hipotez testleridir.
Yorumunuzdan, açıklayıcı bir değişkenin diğerinden daha önemli olup olmadığını nasıl belirleyeceğinizi merak edebilirsiniz. Bu çok yaygın bir soru, ama oldukça zor. Bir sporcunun boy ve kilosuna dayalı bir sporda başarı potansiyelini tahmin etmek ve hangisinin daha önemli olduğunu merak etmek istediğinizi düşünün. Ortak bir strateji, hangi tahmini katsayının daha büyük olduğunu görmektir. Bununla birlikte, bu tahminler kullanılan birimlere özgüdür: örneğin, ağırlık katsayısı, pound veya kilogram kullanılmasına bağlı olarak değişecektir. Buna ek olarak, kilo ve inç veya kilogram ve santimetrenin nasıl eşitleneceği / karşılaştırılacağı açık değildir. İnsanların uyguladığı bir strateji standartlaştırmaktır(yani, z skorlarına dönüştürün) önce verilerini. Daha sonra bu boyutlar ortak birimlerdedir (yani standart sapmalar) ve katsayılar r-skorlarına benzer . Ayrıca, bir r-skorunun diğerinden daha büyük olup olmadığını test etmek mümkündür . Ne yazık ki, bu sizi ormandan çıkarmaz; true r tam olarak 0 olmadığı sürece, tahmini r büyük ölçüde kullanılan değişken değer aralığına göre yönlendirilir. (Tanınmanın ne kadar kolay olacağını bilmiyorum, ama @ whuber'ın mükemmel cevabı burada: yararlı mı veya tehlikeli miR,2 , bu noktayı gösteriyor; görmek için sadecer = r2--√Bu nedenle, söylenebilecek en iyi şey, belirli bir aralıktaki bir açıklayıcı değişken içindeki değişkenliğin, yanıt düzeyini belirlemek için, belirtilen başka bir aralıktaki başka bir açıklayıcı değişkendeki değişkenlikten daha önemli olmasıdır.