Doğrusal regresyonda sapma-varyans dengesinin grafiksel bir temsili var mı?

Bir elektrik kesintisi yaşıyorum. Doğrusal regresyon bağlamında önyargı-varyans dengesini sergilemek için aşağıdaki tabloyu sundum:

Veri için polinom modeli, basit ve karmaşık durum

İki modelden hiçbirinin iyi bir uyum olmadığını görebiliyorum - "basit", XY ilişkisinin karmaşıklığını takdir etmiyor ve "karmaşık", temel olarak eğitim verilerini ezbere öğreniyor. Ancak bu iki resimdeki sapma ve sapmayı tamamen göremiyorum. Birisi bunu bana gösterebilir mi?

Not: Önyargı-varyans dengesinin sezgisel açıklamasına cevap ? Bana gerçekten yardım etmedi, birileri yukarıdaki resme dayanarak farklı bir yaklaşım sağlayabilirse sevinirim.

regression variance bias

— blubb
kaynak

Yanıtlar:

Önyargı varyans ödemesi, ortalama kare hatasının dökümüne dayanmaktadır:

M S E (\hat{y}) = E [y - \hat{y}]^{2} = E [y - E [\hat{y}]]^{2} + E [\hat{y} - E [\hat{y}]]^{2}

$MSE(\hat{y})=E[y-\hat{y}]^2=E[y-E[\hat{y}]]^2+E[\hat{y}-E[\hat{y}]]^2$

Sapma-varyans ticaretini görmenin bir yolu, veri setinin hangi özelliklerin modele uygun olarak kullanıldığıdır. Basit model için, OLS regresyonunun düz çizgiye uyması için kullanıldığını varsayarsak, çizgiye uymak için sadece 4 sayı kullanılır:

X ve y arasındaki örnek kovaryans
X'in örnek varyansı
X örnek ortalaması
Y örnek ortalaması

Böylece, aynı 4 sayıya giden herhangi bir grafik tam olarak aynı takılı çizgiye (10 puan, 100 puan, 100000000 puan) yol açacaktır. Dolayısıyla, bir anlamda, gözlemlenen belirli örneğe duyarsızdır. Bu, verilerin bir kısmını etkili bir şekilde göz ardı ettiği için "taraflı" olacağı anlamına gelir. Verilerin göz ardı edilen bir kısmı önemliyse, tahminler tutarlı bir şekilde hatalı olacaktır. Takılan hattı tüm verileri kullanarak bir veri noktasının çıkarılmasından elde edilen takılan hatlarla karşılaştırırsanız bunu göreceksiniz. Oldukça kararlı olma eğilimindedirler.

Şimdi ikinci model elde edebileceği her veri parçasını kullanıyor ve verilere mümkün olduğunca yakın. Bu nedenle, her veri noktasının kesin konumu önemlidir ve bu nedenle, OLS için olduğu gibi takılan modeli değiştirmeden egzersiz verilerini değiştiremezsiniz. Bu nedenle model, sahip olduğunuz özel eğitim setine çok duyarlıdır. Aynı açılan veri noktası grafiğini yaparsanız, takılan model çok farklı olacaktır.

— probabilityislogic
kaynak

\hat{θ}

$\hat\theta$

\hat{y}

$\hat y$

θ

$\theta$

x, y

$x,y$

\hat{y}

$\hat {y}$

\hat{θ}

$\hat {\theta}$

Parametre tahmini için

, onun önyargı

, ama

doğru, bize bilinmemektedir? Dahası, veri seti göz önüne alındığında, gerçek modelin neye benzemesi gerektiği konusunda hiçbir fikrimiz yok, örneğin verilerin arkasındaki gerçek model

, ancak doğrusal bir regresyon modeli seçiyoruz

\hat{θ}

$\hat\theta$

b i a s (\hat{θ}) = θ - E [\hat{θ}]

$bias(\hat\theta)=\theta-E[\hat\theta]$

θ

$\theta$

f (x) = a + b x + c x^{2}

$f(x)=a+bx+cx^2$

verilere uyacak şekilde, bu yüzden paradoks geliyor: gerçek parametreler

, tahmin etmeye çalışmamız gereken hedef, ancak

tahminleri ile sonuçlanıyoruz,

hesaplamak veya analiz etmek?

h (x) = d + e x

$h(x)=d+ex$

(a, b, c)

$(a,b,c)$

(d, e)

$(d,e)$

b i a s (d)

$bias(d)$

b i a s (e)

$bias(e)$

— avokado

@loganecolss - önyargı kavramı yalnızca "yerel olarak" var olduğu için, yani belirli bir istatistiksel modele göre, bu bir paradoks değildir. "Paradoks" şu kişiler için vardır: 1) "gerçek modeli" bilir ve 2) onu kullanmamaya karar verir. O kişi kitabımda bir salak. "Gerçek modeli" bilmiyorsanız, o zaman bir sorun yoktur - iyi bir model bulamadıysanız ve kullanmamaya karar

— probabilityislogic

f (x, z_{1}, z_{2}, \dots, z_{K})

$f (x, z_1, z_2,\dots, z_{K})$

z_{i}

$z_i$

K

$K$

— probabilityislogic

Matematiksel olmayan bir şekilde bildiklerimi özetlemek gerekirse:

önyargı - basit modeli kullandığınızda tahmininiz yanlış olur ve bu, modeli kullandığınız herhangi bir veri kümesinde gerçekleşir. Tahmininizin yanlış olması bekleniyor
varyans - karmaşık modeli kullanırsanız, hangi veri kümesini kullandığınıza bağlı olarak çok farklı bir tahmin elde edersiniz

Bu sayfa, yayınladıklarınıza benzer diyagramlarla oldukça iyi bir açıklamaya sahip. (Sadece şemaları ile parçasını okumak olsa üst kısmı atlanır) http://www.aiaccess.net/English/Glossaries/GlosMod/e_gm_bias_variance.htm (eğer haber vermedi durumda farklı bir örnek mouseover gösterileri!)

— kral
kaynak

Bu ilginç bir sayfa ve iyi çizimler, ancak onları daha sonra kafa karıştırıcı buluyorum çünkü (a) regresyon bağlamında tartışılan "önyargı" ve "sapma", bunun başında tanımlanan önyargı ve sapma gibi görünmüyor (b) yapılan ifadelerin (parametre sayısı ile sapma ve sapmanın nasıl değiştiği hakkında) doğru olmadığı açık değildir.

— whuber