Doğrusal regresyon normal dağılımı nasıl kullanır?

Doğrusal regresyonda, tahmin edilen her değerin, olası değerlerin normal bir dağılımından seçildiği varsayılmaktadır. Aşağıya bakınız.

Fakat neden her tahmin edilen değerin normal bir dağılımdan geldiği varsayılmaktadır? Doğrusal regresyon bu varsayımı nasıl kullanır? Mümkün olan değerler normal dağılmazsa ne olur?

Doğrusal regresyon kendi başına normal (gauss) varsayımına ihtiyaç duymaz, tahmin ediciler böyle bir varsayıma ihtiyaç duymadan hesaplanabilir (doğrusal en küçük kareler ile) ve kusursuz bir anlam ifade eder.

Ancak, istatistikçiler olarak bu yöntemin bazı özelliklerini anlamak istiyoruz, sorulara cevaplar: en küçük kareler tahmin edicileri bir anlamda optimal midir? ya da bazı alternatif tahmincilerle daha iyisini yapabilir miyiz? Ardından, hata terimlerinin normal dağılışı altında, bu tahmin edicilerin, gerçekten de, örneğin, "minimum değişkenlikten bağımsız" veya maksimum olasılık gibi olduklarını gösterebiliriz. Normal bir varsayım olmadan böyle bir şey kanıtlanamaz.

Ayrıca, güven aralıklarını veya hipotez testlerini oluşturmak (ve özelliklerini analiz etmek istiyorsak) normal varsayımı kullanırız. Ancak, bunun yerine önyükleme gibi başka bir yöntemle güven aralıkları oluşturabiliriz. O zaman, normal varsayımı kullanmıyoruz, fakat, ne yazık ki, onsuz, en küçük karelerden başka bazı tahmin ediciler kullanmalıyız, belki bazı sağlam tahminciler?

Uygulamada elbette normal dağılım en uygun kurgudur. Öyleyse, asıl önemli soru, yukarıda belirtilen sonuçları kullanma iddiasında olmamız için normallik ne kadar yakın olmalıyız? Bu çok daha zor bir soru! İyimserlik sonuçları sağlam değildir , bu nedenle normallikten çok küçük bir sapma bile iyiliği bozabilir. Bu, sağlam yöntemler lehine bir argümandır. Bu soruya ilişkin başka bir çözüm için, bkz. Cevabım Neden normal hatalar yerine t hatalarını kullanmalıyız?

İlgili bir başka soru da , regresyon çizgisini tahmin etmek için neden artıkların normalliği “hiç de zar zor”?

 EDIT

Bu cevap, büyük bir yorum tartışmasına neden oldu, bu da benim yeni soruma yol açtı: Doğrusal regresyon: OLS ve MLE kimliği veren normal olmayan herhangi bir dağılım? şimdi nihayet (üç) cevap aldı, normal olmayan dağılımların en küçük kareler tahmin edicilerine neden olduğu örnekler verdi.

Bu tartışma Ya artıklar normal dağılmışsa, ya da y değilse? bu soruyu iyi ele almıştır.

Kısacası, bir regresyon problemi için, cevabın sadece x değerinde şartlandırılmış normal olduğunu varsayıyoruz. Bağımsız veya cevap değişkenlerinin bağımsız olması gerekli değildir.

1. Fakat neden her tahmin edilen değerin normal bir dağılımdan geldiği varsayılmaktadır?

Bunun derin bir nedeni yoktur ve dağıtım varsayımlarını değiştirmekte, GLM'lere geçmekte veya güçlü bir gerilemede özgürsünüz. LM (normal dağılım) popülerdir, çünkü hesaplanması kolaydır, oldukça stabildir ve artıklar pratikte çoğu zaman az çok normaldir.

2. Doğrusal regresyon bu varsayımı nasıl kullanır?

Herhangi bir gerileme olarak, doğrusal model (= normal hatayla gerileme) verilen dağılım varsayımına yönelik olasılığı optimize eden parametreleri arar. Doğrusal bir model için olabilirlik olasılığını açık bir hesaplama örneği için buraya bakın . Eğer günlük bir doğrusal model olasılığını alırsanız, karelerin toplamıyla orantılı olduğu ortaya çıkar ve bunun optimizasyonu oldukça uygun bir şekilde hesaplanabilir.

3. Mümkün olan değerler normal dağılmazsa ne olur?

Farklı dağılımlara sahip bir modele uymak istiyorsanız, sonraki ders kitabı adımları, farklı dağılımlar sunan genelleştirilmiş doğrusal modeller (GLM) veya hala normal olan, ancak bağımsızlığı sağlayan genel doğrusal modeller olacaktır. Diğer birçok seçenek mümkündür. Aykırı değerlerin etkisini azaltmak istiyorsanız, örneğin sağlam bir gerileme düşünebilirsiniz.

Soruyu tekrar inceledikten sonra, regresyon parametresi hakkında bir tür çıkarım yapmak istemediğiniz sürece normal dağılımı kullanmak için hiçbir neden olmadığını düşünüyorum. Doğrusal regresyon uygulayabilir ve gürültü terim dağılımını görmezden gelebilirsiniz.

$(x_i,y_i)$$y = \beta x +c$$\beta$$\sum_i (y_i - \sum_i \beta x_i - c)^2$$\eta_i = y_i - (\beta x_i +c)$$\beta$$\beta$$\beta$$\beta$$\beta$