OLS MAVİ. Peki tarafsızlık ve doğrusallık umurumda değilse ne olur?

Gauss-Markov teoremi bize OLS tahmincisinin lineer regresyon modeli için en iyi doğrusal yansız tahmin edici olduğunu söyler.

Ama diyelim ki doğrusallık ve tarafsızlık umurumda değil. Öyleyse, doğrusal regresyon modeli için Gauss-Markov varsayımları veya diğer bazı genel varsayımlar kümesi içinde en verimli olan başka (olası doğrusal olmayan / önyargılı) bir tahminci var mı?

Elbette bir standart sonuç var: Gauss-Markov varsayımlarına ek olarak hataların normal olarak dağıtıldığını varsayarsak, OLS'nin kendisi en iyi tarafsız tahmin edicidir. Hataların başka bir özel dağılımı için, karşılık gelen maksimum olabilirlik tahmincisini hesaplayabilirim.

Ama bazı genel durumlarda OLS'den daha iyi bir tahminci olup olmadığını merak ediyordum.

Tarafsız tahminler giriş istatistik derslerinde tipiktir, çünkü bunlar: 1) klasik, 2) matematiksel olarak analiz edilmesi kolaydır. Cramer-Rao alt sınırı 2) için ana araçlardan biridir. Tarafsız tahminlerden uzak, olası bir iyileşme söz konusudur. Önyargı-varyans ödemesi, önyargılı tahminlerin tarafsız tahminlerden daha iyi olabileceğini anlamak için istatistiklerde önemli bir kavramdır.

Ne yazık ki, önyargılı tahmin edicilerin analizi genellikle zordur. Regresyonda, son 40 yıldaki araştırmaların çoğu önyargılı tahmin ile ilgilidir. Bu sırt regresyonu ile başladı (Hoerl ve Kennard, 1970). Bkz Frank ve Friedman (1996) ve Burr ve Fry (2005) bazı inceleme ve anlayışlar için.

$p \geq 3$

Önyargı-varyans sorununun önemli bir parçası, önyargıların nasıl alınıp satılacağını belirlemektir. Tek bir “en iyi” tahmin edici yoktur . Seyreklik, son on yılda araştırmanın önemli bir parçası olmuştur. Bkz Hesterberg et al. (2008) tarafından kısmi bir inceleme yapılmıştır.

$Y$

Bayes Tahmini ile iyi misin bilmiyorum? Evet ise, Kayıp fonksiyonuna bağlı olarak farklı Bayes Tahminleri elde edebilirsiniz. Blackwell'in bir teoremi, Bayes Tahminlerinin asla tarafsız olmadığını belirtir. Bir karar teorik argümanı, kabul edilebilir her kuralın ((veya karşılaştırıldığı diğer her kuralın), mevcut kuralın riskinin (kesinlikle) karşı olduğu kuraldan daha az olduğu bir parametre değeri olduğunu belirtir. karşılaştırılması)) (genelleştirilmiş) Bayes kuralıdır.

James-Stein Tahmincileri, birçok durumda OLS'den daha iyi olan (asimptotik olarak Bayes yöntemleriyle türetilebilen) başka bir tahminci sınıfıdır.

OLS birçok durumda kabul edilemez ve James-Stein Tahmincisi buna bir örnektir. (Stein'ın paradoksu da denir).

Kay ve Eldar'ın asgari kare hatası olan tahmin edicileri bulmak amacıyla önyargılı tahmin üzerine güzel bir inceleme yazısı bulunmaktadır .