Tutarsız tahminciler hiç tercih edilir mi?

Tutarlılık açıkça doğal ve önemli bir özellik tahmincisidir, ancak tutarlı bir tahmin yerine tutarsız bir tahmin edici kullanmanın daha iyi olabileceği durumlar var mı?

Daha özel olarak ise, bütün sonlu için makul bir tutarlı tahmincisi geride tutarsız tahmin edicinin orada örnekleridir (bazı uygun kayıp fonksiyonu ile ilgili olarak)? $n$

estimation consistency

— MånsT
kaynak

Model seçiminin tutarlılığı ile kement ve (birçok!) Varyantlarını kullanarak tahmin problemlerinde parametre tutarlılığı arasında performansta ilginç bir denge vardır. Bu, örneğin Bühlmann ve van der Geer'in son metinde detaylı olarak verilmiştir.

— kardinal

Şimdi silinen benim cevabımdaki tartışma hala geçerli olmaz mıydı? Yani: küçük numunelerde düşük değişkenliğe sahip yansız bir tahmin ediciye sahip olmak daha iyidir. Ya da tutarlı bir tahmin edicinin her zaman başka bir tarafsız tahmin ediciden daha düşük varyansı olduğunu gösterebilir mi?

— Bob Jansen

Belki de, @Botvis! MSE değeri düşük olan tutarsız bir tahminci örneğiniz var mı?

— MånsT

@Bootvis: Tutarlılık ve tarafsızlık hakkında soru soran son bir sorunun cevabı üzerine yapılan kapsamlı yorumlara bakarsanız, tutarlı bir tahmincinin hem sapma hem de önyargı üzerinde keyfi bir şekilde vahşi davranışa sahip olabileceğini göreceksiniz (hatta, aynı anda!) . Bu, yorumunuzla ilgili tüm şüpheleri ortadan kaldırmalıdır.

— kardinal

İki kitaptan birinin olduğunu sanıyordum ama görünüşe göre bu konuda da yanılmışım! Örnek bulunacak bir yer değil. @ cardinal: Sesler ilginç, kontrol edecek

— Bob Jansen

Bu cevap, tutarsız bir tahmin edici tarafından doğal bir tutarlı tahmin edicinin hakim olduğu (tüm örneklem büyüklükleri için tüm olası parametre değerlerinden daha iyi performans gösterdiği) gerçekçi bir sorunu açıklar. Tutarlılığın ikinci dereceli kayıplar için en uygun olduğu fikriyle motive edilir, bu nedenle kuvvetli bir şekilde ayrılan bir zararı kullanmak (asimetrik bir kayıp gibi) tahmin edicilerin performansını değerlendirmede tutarlılığı neredeyse işe yaramaz hale getirmelidir.

Müşterinizin bir iid örneğinden bir değişkenin (simetrik bir dağılıma sahip olduğu varsayılır) ortalamasını tahmin etmek istediğini varsayalım , ancak bunların (a) ya da (b) aşırı derecede aşırı tahmin etmekten çekindiklerini o. $(x_1, \ldots, x_n)$

Bunun nasıl işe yarayabileceğini görmek için, basit bir kayıp işlevini benimseyelim, pratikte kaybın bu durumdan nicel olarak (ancak niteliksel olarak değil) farklı olabileceğini anlayın. Böylece ölçüleri seçin büyük tolere abartılıdır, ve bir tahmin kaybını ayarlamak gerçek ortalama olduğunda eşit zaman ve eşit $1$ $t$ $\mu$ $0$ $\mu \le t\le \mu+1$ $1$ aksi.

Hesaplamalar, ortalama ve varyans olan bir Normal dağılım ailesi için özellikle basittir , o zaman numune ortalaması $\mu$ $\sigma^2 \gt 0$ Normaldağılımına sahiptir. Örnek ortalama,iyi bilinen (ve açık) olduğu gibitutarlı bir tahmincisidir. Yazmastandart normal CDF için, örneklem ortalamasının beklenen kaybı eşittir $\bar{x}=\frac{1}{n}\sum_i x_i$ $(\mu, \sigma^2/n)$ $\mu$ $\Phi$ :örnek ortalaması gerçek ortalama ve hafife ki% 50 olasılıkla gelen $1/2 + \Phi(-\sqrt{n}/\sigma)$ $1/2$ , gerçek ortalamayıfazla fazla tahmin etme şansından gelir. $\Phi(-\sqrt{n}/\sigma)$ $1$

Zararlar

Beklenen kaybı, bu standart normal PDF altındaki mavi alana eşittir. Kırmızı alan aşağıdaki alternatif tahmin edicinin beklenen kaybını veriyor. Sabit mavi alanı değiştirerek farklılık gösterirler. $\bar{x}$ vearasında daha küçük bir kırmızı katı alanı tarafından $-\sqrt{n}/(2\sigma)$ $0$ ve $\sqrt{n}/(2\sigma)$ . Bu farkarttıkçabüyür. $\sqrt{n}/\sigma$ $n$

Tarafından verilen alternatif bir tahmin beklenen kaybına sahiptir $\bar{x}+1/2$ . Normal dağılımların simetrisi ve tekdüzelliği, beklenen kaybının her zaman örnek ortalamasından daha iyi olduğu anlamına gelir. (Bu örnek, ortalama halekabul edilemezbu kaybı). Gerçekten de, örnek ortalaması beklenen zarar bir alt sınıra sahiptiralternatif yakınsak bu iseolarakbüyür. Bununla birlikte, alternatif açık tutarsız: olarakbüyür, bu olasılık yakınsar. $2\Phi(-\sqrt{n}/(2\sigma))$ $1/2$ $0$ $n$ $n$ $\mu+1/2 \ne \mu$

Kayıp fonksiyonları

$\bar{x}$ $\bar{x}+1/2$ $n$

— whuber
kaynak

L_{2}

$L_2$

L_{2}

$L_2$

@Macro Düşünme bir şekilde dolaylıdır ve katı olmaya yönelik değildir, ancak doğal olduğuna inanıyorum: ikinci dereceden bir kayıp (Chebyshev aracılığıyla) olasılıkta yakınsamaya neden olan varyansı en aza indirir. Bu nedenle, bir karşı örnek bulmak için bir sezgisel, bu tür manipülasyonların başarısız olduğu kadar ikinci dereceden kayıplara odaklanmalıdır.

— whuber

1 / 2

$1/2$

0

$0$

n

$n$

@Michael OK, bunu açıkladığınız için teşekkürler. Bu bağlamda, kuadratik olmayan bir kayba sahip bir "avantaj", önyargı şartları olarak ifade edilmez. Birisi bu kayıp işlevini eleştirebilir, ancak bunu tamamen reddetmek istemiyorum: Örneğin, verilerin belirli toleranslara göre üretilmiş bir öğenin ölçümleri olduğu ve felaket olacağı durumları modelliyor (Shuttle o-ring başarısızlığında olduğu gibi) veya iflasın felaketi) gerçek anlamda bu toleransların dışına düşmek.

— whuber

(+1) Harika cevap, @whuber! Özellikle fazla patolojik hissetmemesini seviyorum - bu tür bir kaybın uygulanabileceği birçok durum düşünebiliyorum.

— MånsT