En küçük kareler durumunda doğal sayılara karşı önyargı

14

Neden minimize etmek x^2yerine minimize etmeye çalışıyoruz |x|^1.95veya |x|^2.05. Sayının tam olarak iki olması için nedenler var mı yoksa sadece matematiği basitleştirme avantajına sahip bir kural mı?

standard-deviation least-squares

— Hristiyan
kaynak

5

Bu soru oldukça eski ama aslında burada görünmeyen bir cevabım var ve başka bir güç yanlışken (bazı makul varsayımlar altında) kare hatasının doğru olduğu konusunda zorlayıcı bir neden var.

Bazı veriler var ki ve doğrusal (ya da) fonksiyonu bulmak istiyoruz en iyi yoğunluk ihtimali bu anlamda, veri tahmin , bu verileri gözlemlemek için ilgili olarak en yüksek olmalıdır (buna $D = \langle(\mathbf{x}_1,y_1),(\mathbf{x}_2,y_2),...,(\mathbf{x}_n,y_n)\rangle$ $f$ $p_f(D)$ $f$ maksimum olabilirlik tahmini ). Bizim veri tarafından verilen varsayarsak + standart sapma olan bir normal dağılım hata terimi , daha sonra $f$ $\sigma$ Bueşittir

p_{f} (D) = \prod_{i = 1}^{n} \frac{1}{σ \sqrt{2 π}} e^{- \frac{(y_{i} - f (x_{i}))^{2}}{2 σ^{2}}} .

$p_f(D) = \prod_{i=1}^{n} \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{(y_i - f(\mathbf{x}_i))^2}{2\sigma^2}}.$

Böylece

ninen üst düzeye çıkarılması,

, yani kare şeklinde hata terimlerinin toplamınınen aza indirilmesiyle gerçekleştirilir.

\frac{1}{σ^{n} (2 π)^{n / 2}} e^{- \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (y_{i} - f (x_{i}))^{2}} .

$\frac{1}{\sigma^n(2\pi)^{n/2}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n} (y_i - f(\mathbf{x}_i))^2}.$

p_{f} (D)

$p_f(D)$

\sum_{i = 1}^{n} (y_{i} - f (x_{i}))^{2}

$\sum_{i=1}^{n} (y_i - f(\mathbf{x}_i))^2$

Bu dairesel görünüyor, neden normal olarak dağıtılmış bir hata terimi varsaymalısınız?

— Joe

@Joe Her zaman olmamalı, ancak hata terimi hakkında bildiğiniz tek şey ortalama 0 ve sınırlı bir mutlak değere sahip olması, o zaman maksimum entropi varsayımıdır, böylece bilinmeyen ne varsa aslında hata fonksiyonu. Hata dağılımı hakkında ek bilgi varsa, bunu kullanabileceğinizi ve daha doğru bir maksimum olabilirlik tahmincisi bulabileceğinizi varsayalım.

"Eğer hata terimi hakkında bildiğiniz tek şey ortalama 0 ve sonlu bir beklenen mutlak değere sahip olmasıdır, o zaman bu maksimum entropi varsayımıdır" - gördüğüm maksimum entropi dağılımlarının her bir türevi Laplace dağılımını (bilinen) sonlu beklenen mutlak değer için maksimum dağılım, Gauss ise (bilinen) sonlu beklenen kare mutlak değer için maksimum değerdir, bir örnek olarak bakın stats.stackexchange.com/questions/82410/… katılmayan alıntılarınız var mı ?

— Joe

Biliyor musun, bilmiyorum. Haklı olduğunu varsayacağım. (Gerçi bazı nedenlerden dolayı

14

X ^ 2 dışındaki normları en aza indirmeye çalışmamanız için hiçbir neden yoktur, örneğin kantil regresyon üzerine yazılmış tüm kitaplar olmuştur, örneğin, aşağı yukarı en aza indirgeyen | x | medyan ile çalışıyorsanız. Bunu yapmak genellikle daha zordur ve hata modeline bağlı olarak iyi tahmin ediciler vermeyebilir (bunun bağlamda düşük varyans veya tarafsız veya düşük MSE tahmin edicileri anlamına gelmesine bağlı olarak).

Tam sayı anlarını gerçek sayı değerli anlara tercih etmemize gelince, asıl neden gerçek sayıların tamsayı güçlerinin her zaman gerçek sayılara yol açmasına rağmen, negatif gerçek sayıların tamsayı olmayan güçlerinin karmaşık sayılar oluşturması, bu nedenle mutlak bir değer. Diğer bir deyişle, gerçek değerli rastgele değişkenin 3. momenti gerçek olsa da, 3.2. Moment mutlaka gerçek değildir ve dolayısıyla yorumlama problemlerine neden olur.

Ondan başka...

Rastgele değişkenlerin tamsayı momentleri için analitik ifadelerin bulunması, fonksiyonlar veya başka bir yöntem üreterek, gerçek değerli anlardan çok daha kolaydır. Bunları en aza indirgemek için yöntemler yazmak daha kolaydır.
Tamsayı momentlerin kullanımı, gerçek değerli anlardan daha izlenebilir ifadelere yol açar.
Araştırmak ilginç olsa da (örneğin) X'in mutlak değerinin 1.95. anının (örneğin X'in 2. anından daha iyi uyum özellikleri sağlayabilmesi için zorlayıcı bir neden düşünemiyorum)
L2 normuna (veya kare hatasına) özgü olarak, nokta ürünleri aracılığıyla yazılabilir, bu da hesaplama hızında büyük iyileşmelere yol açabilir. Aynı zamanda Hilbert alanı olan tek Lp alanı, sahip olması güzel bir özellik.

— Zengin
kaynak

8

Tanımlayıcıların içinde kalan varyansı en aza indirmeye çalışıyoruz. Neden varyans? Bu soruyu okuyun ; bu aynı zamanda hataların normal olarak dağıtıldığı (çoğunlukla sessiz) varsayımı ile birlikte gelir.

Uzantı:
İki ek argüman:

Varyanslar için, ilişkisiz örnekler için varyansların toplamının toplam varyansına eşit olduğu bu güzel "yasaya" sahibiz. Hatanın durumla ilişkili olmadığını varsayarsak, karelerin kalıntılarını en aza indirgemek açıklanmış varyansı en üst düzeye çıkarmak için doğrudan işe yarayacaktır, belki de o kadar iyi olmayan ama yine de popüler bir kalite ölçüsüdür.
Bir hatanın normalliğini varsayarsak, en küçük kareler hata tahmincisi maksimum olasılıktır.

— Topluluk
kaynak

1

Bu diğer konudaki cevap, 2'nin neden 2'ye çok yakın ancak doğal sayı olmayan diğer değerlerden daha iyi bir değer olduğunu açıklamıyor.

— Christian

Bence öyle; hala cevabı uzatmaya çalışacağım.

Bu nedenle, hatalar normal olarak dağıtılmazsa, örneğin başka bir Lévy-kararlı dağıtımına göre, 2'den farklı bir üs kullanmak işe yarayabilir mi?

— Raskolnikov

Unutmayın, normal dağılım bilinen varyans için en "dikkatli" olanıdır (çünkü sabit varyanslı tüm yoğunluklarda maksimum entropi vardır). Veriler tarafından söylenecek en fazla şey bırakılır. Ya da başka bir deyişle, aynı varyansa sahip "büyük" veri kümeleri için, normalden farklı bir dağıtım elde etmek için " inanılmaz " denemek zorundasınız " .

— probabilityislogic

8

Sıradan en küçük karelerde, (A'A) ^ (- 1) x = A'b'ye çözüm, kare hata kaybını en aza indirir ve maksimum olabilirlik çözümüdür.

Yani, büyük ölçüde çünkü bu tarihsel durumda matematik kolaydı.

Ancak genellikle insanlar üstel, lojistik, cauchy, laplace, huber, vb. Gibi birçok farklı kayıp fonksiyonunu en aza indirir . şimdi daha popüler olmaya başladılar.

— Joe
kaynak

1

Kayıp fikrini tanıtmak için +1. (Fakat "üstel" değil, dağılımlar , kayıp fonksiyonları değil mi?) Tarihsel olarak doğrusal kayıp 1750'de resmi olarak geliştirilen ilk yaklaşımdı ve bunun için basit bir geometrik çözüm vardı. Laplace'ın bu ve 1809 yayında çift üstel dağılım arasındaki ilişkiyi kurduğuna inanıyorum (bunun için MLE, kare hatası değil mutlak hatayı en aza indirecektir). Dolayısıyla, kare kaybı, MLE'ye sahip olma ve matematiksel olarak kolay olma kriterleri ile benzersiz bir şekilde ayırt edilmez.

— whuber

İkisi de farklı bağlamlarda dağılım ve kayıp işlevleridir.

— Joe

Önceki cevaba çok hızlı girmeye bastım - üstel kayıp, genişleme ile yaygın olarak ilişkilidir (bkz. Friedman Hastie ve Tibshirani'nin İstatistiksel Artırma İstatistiksel Görünümü), bir dağıtımdan ziyade bir kayıptır, lojistik regresyon log kaybına karşılık gelir, laplace bir dağıtımdır, ancak mutlak değer kaybına karşılık gelir - bu yüzden çoğunlukla son derece özensiz davrandım, işaret ettiğiniz için teşekkürler. Ancak L1 kaybının geometrik bir çözümü olsa da, analitik olarak kapalı bir form değildir, bu yüzden çözümünü neredeyse kolay olarak adlandıramam.

— Joe

1

$-1\times-1 = 1$ $x$

— Ian Turner
kaynak