Hangi parametre tahmin yöntemini seçeceğimi nasıl bilebilirim?

11

Parametre tahmini için oldukça az yöntem vardır. MLE, UMVUE, MoM, karar-teorik ve diğerleri, parametre tahmini için neden faydalı oldukları için oldukça mantıklı bir duruma sahip gibi görünüyorlar. Herhangi bir yöntem diğerlerinden daha mı iyi, yoksa sadece "en uygun" kestirimcinin ne olduğunu nasıl tanımladığımızla mı ilgili (dikey hataları en aza indirmenin sıradan bir en küçük kareler yaklaşımından farklı tahminler üretmesine benzer)?

— Christopher Aden
kaynak

1

Hızlı açıklama: dikey hatalardan ziyade dikey hataların en aza indirilmesi gerçekten bir tahmin stratejisi kararı değil, tahmin edilmesi gereken model hakkında bir karar - tipik olarak X'te ölçüm hatasının varlığını varsayan bir karar. (Ve tahmin olabilir onun çok parametre çeşitli yollar.)

— conjugateprior

1

'En uygun' tahmin stratejisi fikrinizi seviyorum, ama en iyi hangisi var? Genellikle mesele, stratejinin araştırmacının yapmak istediği çeşitli parametrik varsayımlar hakkındaki bilgisine olan güvenine ve kendileriyle ilgili kaygı düzeyinin oldukça yanlış olmasına uygun olmasıdır. Ekonometri literatürü bu konuda bir motivasyon ML vs GMM vs Robust gibi oldukça açıktır

— konjugateprior

12

Burada iki şeyle ilgili küçük bir karışıklık var: tahmin edicileri türetmek için yöntemler ve tahmin edicileri değerlendirmek için kriterler . Maksimum olabilirlik (ML) ve momentler yöntemi (MoM) tahmin ediciler elde etmenin yollarıdır; Tekdüze minimum varyans tarafsızlığı (UMVU) ve karar teorisi, farklı tahmin edicilere sahip olduktan sonra değerlendirme ölçütleridir, ancak bunları nasıl türeteceğinizi söylemeyecektir.

Tahmin edicileri türetilmesi için yöntemler arasında, ML genellikle aya az (yani, daha düşük varyans) daha etkin olan tahminlerini oluşturur ise Eğer veriler elde edilmiştir altında modeli ( 'veri üretme süreci' jargonunda (DGP)) biliyoruz. Ancak MoM model hakkında daha az varsayımda bulunur; adından da anlaşılacağı gibi, yalnızca ortalama veya sadece ortalama ve varyans olmak üzere yalnızca bir veya daha fazla an kullanır, bu nedenle DGP'den emin değilseniz bazen daha sağlamdır. Aynı sorun için birden fazla MoM tahmincisi olabilir, DGP'yi biliyorsanız, sadece bir ML tahmincisi vardır.

Tahmin edicileri değerlendirme yöntemlerinden karar-teorik, tahmincinizi değerlendirmek için kullanılacak bir kayıp fonksiyonuna sahip olmasına bağlıdır, ancak sonuçlar bir dizi 'makul' kayıp fonksiyonuna karşı oldukça sağlam olabilir. UMVU tahmincileri genellikle mevcut değildir; birçok durumda orada olduğunu daima asgari varyansa sahip hiçbir yansız tahmin. Ve tarafsızlık kriteri de tartışmaya yararlı olmadığı için tartışmalı bir yararlıdır. Örneğin, oran oranının veya günlük oran oranının tarafsız bir tahmincisini tercih eder misiniz? İkisi farklı olacak.

— bir durak
kaynak

Onestop: Bu kesinlikle hedeflediğim sorunun ruhu. Ve tahmin edicileri değerlendirme ölçütleri ile bunları elde etme yöntemleri arasındaki açıklık için teşekkür ederiz!

— Christopher Aden

Teşekkürler. Biraz şaşırdım, başka hiç kimsenin bile parçalanmadığı kafamın tepesinden yazılmıştı ve kesinlikle tahmin teorisinde uzman değilim.

— onestop

2

Tahmin edicinin türünün birkaç şeye bağlı olduğunu öneririm:

Tahminin yanlış yapılmasının sonuçları nelerdir? (örneğin, tahmin ediciniz çok düşükse çok yüksekse hata yönünden kayıtsız mısınız? Bir hata iki kat daha büyükse, bu iki kat daha kötü mü? yüzde hatası mı yoksa mutlak hata mı? Tahmin sadece tahmin için gerekli olan ara adım mıdır? Büyük örnek davranışı küçük örnek davranışından daha mı yoksa daha az mı önemlidir?)
Tahmin ettiğiniz miktar hakkında ön bilginiz nedir? (örneğin, veriler miktarınızla işlevsel olarak nasıl ilişkilidir? Miktarın pozitif olup olmadığını biliyor musunuz? ayrık? Bu miktarı daha önce tahmin ettiniz mi? Ne kadar veriniz var? Verilerinizde "grup değişmezliği" yapısı var mı?)
Hangi yazılımınız var? (örneğin, yazılımınız yoksa MCMC'yi önermek veya nasıl yapılacağını bilmiyorsanız bir GLMM kullanmak iyi değildir.)

İlk iki nokta bağlama özgüdür ve uygulamanızı düşünerek , genellikle tahmin edicinizin sahip olmasını istediğiniz belirli özellikleri tanımlayabilirsiniz . Daha sonra, gerçekte hesaplayabileceğiniz, sahip olmasını istediğiniz özelliklerin çoğuna sahip olan tahminciyi seçersiniz.

Ben bir öğretim kursu tahmin ile bağlam eksikliği olduğunu düşünüyorum, genellikle "varsayılan" ölçüt, önceki bilgiler için benzer şekilde kullanılan anlamına gelir (en belirgin "varsayılan" veri örnekleme dağılımını bilmek). Bunu söyledikten sonra, özellikle bağlam hakkında yeterince bilginiz yoksa, varsayılan yöntemlerden bazıları iyidir. Ama eğer bunu bağlam biliyor ve araçlara sahip olduğu bağlamı dahil etmek, o zaman için aksi takdirde (çünkü göz ardı şeyin) karşı sezgisel sonuçlar alabilirsiniz gerekir.

Genel bir kural olarak MVUE'nun büyük bir hayranı değilim, çünkü tarafsızlık elde etmek için genellikle çok fazla varyanstan ödün vermeniz gerekir. Örneğin, bir dart tahtasına dart attığınızı ve boğa gözüne vurmak istediğinizi düşünün. Boğa gözünden maksimum sapmanın belirli bir fırlatma stratejisi için 6 cm olduğunu varsayalım, ancak dart noktalarının merkezi, boğa gözünün 1 cm üzerindedir. Bu MVUE değildir, çünkü merkez boğa gözünde olmalıdır. Ancak, dağılımı 1 cm'ye (ortalama olarak) kaydırmak için yarıçapınızı en az 10 cm'ye yükseltmeniz gerektiğini varsayalım (böylece maksimum hata şimdi 10 cm'dir, 6 cm değil). Bu, varyans zaten küçük olmadığı sürece MVUE ile olabilecek bir şeydir. Çok daha doğru bir atış olduğumu ve hatamı 0,1 cm'ye daraltabildiğimizi varsayalım. Şimdi önyargı gerçekten önemli, çünkü asla boğa gözüne çarpmayacağım!

Kısacası, benim için sapma, varyansa kıyasla sadece küçük olduğunda önemlidir. Ve genellikle büyük bir örneğiniz olduğunda sadece küçük varyanslar alırsınız.

— probabilityislogic
kaynak