Regresyon neden varyansla ilgilidir?

Bu notu okuyorum .

2. sayfada şunu belirtir:

"Verilerdeki varyansın ne kadarı belirli bir regresyon modeli ile açıklanıyor?"

"Regresyon yorumu, katsayıların ortalamasıyla ilgilidir; çıkarım onların sapmalarıyla ilgilidir."

Bu tür ifadeleri defalarca okudum, neden "verilerdeki varyansın ne kadarının verilen regresyon modeli tarafından açıklandığını" umursalıyız? "... daha spesifik olarak, neden" varyans "?

regression variance interpretation

— Luna
kaynak

"[V] ariance" aksine, standart sapma? Regresyonda önemsememiz gerektiğini düşündüğünüz nedir? Regresyon modeli oluştururken tipik hedefleriniz nelerdir?

— gung - Monica'yı eski durumuna döndürün

Varyansın modellenen miktardan farklı birimleri vardır, bu yüzden her zaman "model tarafından açıklanan varyans oranını" yorumlamakta zorlandım.

— uçar

Yanıtlar:

neden "verilerdeki varyansın ne kadarının verilen regresyon modeli tarafından açıklandığını" umursalım?

Buna cevap vermek için, varyansın belirli bir yüzdesinin regresyon modeli tarafından açıklanmasının tam olarak ne anlama geldiğini düşünmek yararlı olacaktır.

Let sonuç değişkeni olabilir. Bir regresyon modelinde bağımlı değişkenin olağan örnek varyansı $Y_{1}, ..., Y_{n}$ Şimdi izinbir tahmini olarakbelirleyici değerleri regresyon modeli, doğrusal bir en az kare göre. Kanıtlanmış gibiburada, yukarıda bu varyans olarak bölümlenmiş edilebilir:

\frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2}

$\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \overline{Y})^2$

{\hat{Y}}_{i} \equiv \hat{f} (X_{i})

$\widehat{Y}_i \equiv \widehat{f}({\boldsymbol X}_i)$

Y_{i}

$Y_i$

X_{i}

${\boldsymbol X}_i$

\frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2} = \underset{r e s i d u a l v a r i a n c e}{\underset{⏟}{\frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2}}} + \underset{e x p l a i n e d v a r i a n c e}{\underset{⏟}{\frac{1}{n - 1} \sum_{i = 1}^{n} ({\hat{Y}}_{i} - \bar{Y})^{2}}}

$\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \overline{Y})^2 = \underbrace{\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \widehat{Y}_i)^2}_{{\rm residual \ variance}} + \underbrace{\frac{1}{n-1} \sum_{i=1}^{n} (\widehat{Y}_i - \overline{Y})^2}_{{\rm explained \ variance}}$

En azından kareler regresyonunda, tahmin edilen değerlerin ortalaması , bu nedenle toplam varyans, gözlemlenen ve tahmin edilen değerler (artık varyans) artı tahminlerin örnek varyansı (açıklanan varyans) arasındaki ortalama kare farkına eşittir, sadece bir fonksiyonu olan s . Bu nedenle "açıklandığı" varyans varyansın olarak düşünülebilir varyasyon atfedilebilir . Varyans oranı ( "açıklandığı" yani varyasyon oranı varyasyon atfedilebilir $\overline{Y}$ ${\boldsymbol X}$ $Y_i$ ${\boldsymbol X}_i$ $Y_i$ $Y_i$ ), bazen şu şekilde ifade edilir . ${\boldsymbol X}_i$ $R^2$

Şimdi iki uç örnek kullanıyoruz, bu varyans ayrışmasının neden önemli olduğunu açıklığa kavuşturuyoruz:

(1) Tahmincilerin yanıtlarla hiçbir ilgisi yoktur . Bu durumda, için (en küçük kareler), en iyi tarafsız belirleyicisi olan . Bu nedenle toplam varyans kalıntı varyansa sadece eşittir ve belirleyicileri varyans ile ilişkili değildir . $Y_i$ $\widehat{Y}_i = \overline{Y}$ $Y_i$ ${\boldsymbol X}_i$
(2) Öngörücüler, öngörücülerle mükemmel bir şekilde doğrusal ilişkilidir . Bu durumda, tahmin tam olarak doğru ve . Bu nedenle artık bir varyans yoktur ve sonuçtaki varyansın tamamı, sadece öngörücülerin bir fonksiyonu olan tahminlerin kendisindeki varyanstır. Bu nedenle tüm sonuçlarda varyans belirleyicileri farklılıktan sadece kaynaklanmaktadır . $\widehat{Y}_i = Y_i$ ${\boldsymbol X}_i$

Gerçek verilere sahip durumlar genellikle bu iki kaynağa atfedilebilecek varyans oranı gibi iki uç arasında yer alır. Daha fazla "açıkladığı" vardır - örneğin, daha fazla varyasyon nedeniyle varyasyon olduğunu - daha iyi öngörüler performans olan (yani, daha küçük bir "artık varyans" olduğu) en küçük kareler modelinin iyi uyduğunu söylemenin başka bir yolu. $Y_i$ ${\boldsymbol X}_i$ $\widehat{Y}_{i}$

— Makro
kaynak

Bu benim cevabım gibi ama belki biraz daha iyi açıkladı. Ayrıca ben söz olabilirdi olası bir critque bakınız ben Y. ortalama varyasyon göre yazdım gerektiğidir

— Michael R. Chernick

(Ben OP bağlantılı slaytlar dayalı bahsediyor düşünüyorum) @MichaelChernick, evet ama en az kareler regresyon, tahmin edilen değerlerin ortalaması ortalama eşittir

sadece örnek varyans diyoruz böylece, s tahminleri.

Y

$Y$

— Makro

Cevabımı düzenlemeyi yaptım çünkü varyans ayrışmasının düzgün çalışması için Yb gerekli.

— Michael R. Chernick

Evet, en küçük kareler regresyonundan bahsettiği açıktı. Hala yazdıklarının çoğu, söylediğim şeyi biraz farklı bir şekilde tekrarlıyor. Sana hala +1 verdim.

— Michael R. Chernick

Makro, benim açımdan bu ayrışma oluşur sadece eğer

ve "regresyon" kadar doğal sabit vektörü içeren bir alan üzerine bir ortogonal projeksiyonu içerir. En son yorumunuzla çelişen görünen sabit vektörü modelimizden kaldırarak bu ayrışmayı kolayca "bozabileceğimizi" unutmayın.

⟨ y - \hat{y}, \hat{y} - \bar{y} 1 ⟩ = 0

$\langle \mathbf y - \hat {\mathbf y}, \hat{\mathbf{y}} - \bar{y} \mathbf{1} \rangle = 0$

— kardinal

Benden önce cevap veren büyük istatistik köpekleri ile koşamam ve belki de düşüncem saf, ama bu şekilde bakıyorum ...

Bir arabada olduğunuzu ve yola inip tekerleği sola ve sağa döndürdüğünüzü ve gaz pedalına ve frenlere çılgınca bastığınızı hayal edin. Ancak araba hareketlerinizden etkilenmeden sorunsuz bir şekilde hareket ediyor. Hemen gerçek bir arabada olmadığınızdan şüpheleniyordunuz ve belki yakından bakarsak Disney World'de bir yolculuğa çıktığını belirlersek. (Gerçek bir arabada olsaydınız, ölümcül bir tehlike altında olursunuz, ama oraya gitmeyelim.)

Öte yandan, bir arabada yolda ilerliyorsanız ve tekerleği biraz sola veya sağa döndürüyorsanız, aracın hareket etmesine neden olduysanız, gaz pedalına basmak gaz pedalına bastığınızda sizi gaz pedalına geri itti. oturma yeri. Yüksek performanslı bir spor otomobilde olduğunuzdan şüphelenebilirsiniz.

Genel olarak, muhtemelen bu iki uç arasında bir şey yaşarsınız. Girişlerinizin (direksiyon, frenler, gaz) otomobilin hareketini doğrudan etkileme derecesi, otomobilin kalitesi hakkında size bir ipucu verir. Yani, aracınızın hareketlerinizle ilgili hareketindeki varyansı ne kadar fazlaysa araba o kadar iyi olur ve araba kontrolünüzden bağımsız olarak ne kadar fazla hareket ederse o kadar kötü olur.

$y$ $x_1, x_2, ..., x_i$ $y$ $y$

$y$ $x_i$ $x_i$ $y$ $x_i$ $y$ $x_i$ $y$ .

PS: Winnie The Pooh benzetmesini bulamadım, ama denedim.

PPS [EDIT:] Bu özel soruyu ele aldığımı unutmayın. Varyansın% 100'ünü hesaba katarsanız, modelinizin harika bir performans sergileyeceğini düşünmeyin. Ayrıca, modelinizin o kadar esnek olduğu, rastgele tuhaflıkları ve tuhaflıkları da dahil olmak üzere, eğitim verilerine çok yakıştığı aşırı uydurmayı düşünmeniz gerekir. Analojiyi kullanmak için, iyi direksiyon ve frenlere sahip bir araba istiyorsunuz, ancak sadece kullandığınız test pistinde değil, yolda iyi çalışmasını istiyorsunuz.

— Wayne
kaynak