en üst düzeye çıkaran bir nokta tahmini kullanırsanız , bu felsefeniz hakkında ne diyor? (frekansçı, Bayesci veya başka bir şey?)

Birisi demişse

"Bu yöntem MLE'yi değerini en üst düzeye çıkaran parametre tahmini için kullanır , bu nedenle sıkça kullanılır ve daha fazla Bayesian değildir."$\mathrm{P}(x|\theta)$

kabul eder misin

• Arka planda güncelleme : Son zamanlarda, sık olduğunu iddia eden bir makale okudum. İddialarına katılmıyorum, en iyi ihtimalle belirsiz olduğunu hissediyorum. Kağıt açıkça MLE (ya da bunlardan söz etmez MAP bu konuda). Sadece bir nokta tahmini alırlar ve sanki bu nokta tahmini doğruymuş gibi ilerlerler. Onlar do değilbu kestiricinin örnekleme dağılımının veya bunun gibi herhangi bir şeyin analizini yapmak; model oldukça karmaşıktır ve bu nedenle bu analiz muhtemelen mümkün değildir. 'Arka' kelimesini de hiçbir noktada kullanmazlar. Sadece bu değer tahminini nominal değere göre alırlar ve ana ilgi konusu olan eksik verileri çıkarırlar. Yaklaşımlarında felsefelerinin ne olduğunu gösteren hiçbir şey olduğunu düşünmüyorum. Sıkça olmayı amaçlamış olabilirler (çünkü felsefelerini kollarında giymek zorunda hissederler), ancak gerçek yaklaşımları oldukça basit / kullanışlı / tembel / belirsizdir. Şimdi araştırmanın arkasında gerçekten bir felsefe olmadığını söylemeye meyilliyim; bunun yerine tutumlarının daha pragmatik veya kullanışlı olduğunu düşünüyorum:

  "Ben gözlenen verileri var ve ben, bazı eksik verileri tahmin isteyen . Bir parametre vardır arasındaki ilişkiyi kontrol eden ve . Gerçekten umurumda değil dışında sona aracı olarak Ben ilişkin bir tahmin varsa. o daha kolay tahmin etmek yapacak den . Ben bir nokta tahminini seçecek o uygun olduğu için, özellikle ben seçecek o en üst düzeye çıkarır . "z θ z x θ θ Z X θ θ P ( x | θ $x$$z$$\theta$$z$$x$$\theta$$\theta$$z$$x$$\theta$$\hat{\theta}$$\mathrm{P}(x|\theta)$

Bayesian yöntemlerinde, verilerin ve parametrenin rolleri tersine çevrilir. Özellikle, şimdi gözlemlenen veriler üzerinde koşullandırma yapıyoruz ve parametrenin değeri hakkında çıkarımlar yapmaya devam ediyoruz. Bu bir öncekidir.

Şimdiye kadar iyi, ama MLE (Maksimum Olabilirlik Tahmini) tüm bunlara nerede uyuyor? Birçok insanın Frequentist (ya da daha doğrusu Bayesci olmadığını) hissettiğini düşünüyorum. Ama ben Bayesian olduğunu hissediyorum çünkü gözlemlenen verileri alarak ve sonra maksimuma parametresini bulmak içerir . MLE, veriler üzerinde tekdüze bir önceleme ve şartlandırma ve en üst düzeye çıkarmak dolaylı olarak kullanır . MLE'nin hem Frequentist hem de Bayesian göründüğünü söylemek adil mi? Yoksa her basit aracın bu iki kategoriden birine girmesi gerekiyor mu?P ( p a r a m a t e r | d a t a $P(data | parameter)$$P(parameter | data)$

MLE tutarlıdır, ancak tutarlılığın Bayesci bir fikir olarak sunulabileceğini hissediyorum. Rasgele büyük örnekler verildiğinde, tahmin doğru cevaba yaklaşır. "Tahmin, gerçek değere eşit olacaktır" ifadesi, parametrenin tüm değerleri için geçerlidir. İlginç olan şey, bu ifadenin, gözlemlenen verileri koşullandırmanız ve Bayesian yapması durumunda da geçerli olmasıdır. Bu ilginç kenara MLE için geçerlidir, ancak tarafsız bir tahminci için değil.

Bu yüzden MLE'nin Frequentist olarak tanımlanabilecek yöntemlerin 'en Bayesci' olduğunu hissediyorum.

Her neyse, çoğu Sıklık özelliği (tarafsızlık gibi), sonlu örneklem büyüklükleri dahil tüm durumlarda geçerlidir. Tutarlılığın sadece imkansız senaryoda (bir deney içindeki sonsuz örnek) geçerli olması, tutarlılığın böyle kullanışlı bir özellik olmadığını göstermektedir.

Gerçekçi (yani sonlu) bir örnek verildiğinde, MLE için geçerli olan bir Frequentist özellik var mı? Değilse, MLE gerçekten Frequentist değildir.

Yoksa her basit aracın bu iki kategoriden birine girmesi gerekiyor mu?

Hayır. Basit (ve o kadar basit olmayan araçlar) pek çok farklı açıdan incelenebilir. Olasılık fonksiyonu tek başına hem Bayesli hem de frekansçı istatistiklerde bir mihenk taşıdır ve her iki açıdan da incelenebilir! İsterseniz, MLE'yi yaklaşık bir Bayes çözümü olarak inceleyebilir veya özelliklerini asimptotik teori ile sık sık inceleyebilirsiniz.

Eğer En Büyük Olabilirlik Kestirimi yapıyoruz zaman tahminin değerini göz önünde ve bir güven aralığı olarak ifade senin tahminin belirsizliğini oluşturulması amacıyla tahmin edicinin örnekleme özelliklerini. Bunun sorunuz için önemli olduğunu düşünüyorum, çünkü bir güven aralığı genel olarak gözlenmeyen örnek noktalara bağlı olacaktır, bu da bazıları tarafından temel olarak baykuş niteliğinde bir özellik olarak görünmektedir.

PS Bu, Tam Olabilirlik Tahmininin (Nokta + Aralık) Olabilirlik Prensibini karşılayamadığı ve tam (" Savage stili") Bayes analizi yaptığı daha genel bir gerçekle ilgilidir.

Olabilirlik işlevi, verileri ve bilinmeyen parametreleri içeren bir işlevdir. Parametre (ler) in değerleri göz önüne alındığında, gözlemlenen veriler için olasılık yoğunluğu olarak görülebilir. Parametreler sabittir. Bu yüzden, tek başına olasılık, sık görülen bir kavramdır. Olasılığı en üst düzeye çıkarmak, sadece parametrelerin maksimum değerini almasını sağlayan parametrelerin belirli değerlerini bulmaktır. Dolayısıyla, maksimum olabilirlik tahmini, yalnızca verilere ve bu veriyi ürettiği varsayılan modelin biçimine dayalı, sık kullanılan bir yöntemdir. Bayes kestirimi sadece parametreye / parametrelere önceki bir dağılım yerleştirildiğinde girilir ve parametre (ler) için bir öncekiyi olasılıkla birleştirerek bir aposteriori dağılımını elde etmek için Bayes formülü kullanılır.

"Bayes" ile, şu anki ampirik Bayes'in anlamına değil, öznel Bayes'e (diğer adıyla epistemik Bayes, De-Finetti Bayes) atıfta bulunduğunuzu varsayarsak - bu önemsiz olmaktan çok uzaktır. Bir yandan, sadece verilerinize dayanarak çıkarım yaparsınız. Elimizde öznel inançlar yok. Bu yeterince sık görünüyor ... Ama Fisher'in kendisinde bile (katı (öznel olmayan) bir Bayesci) ifade edilen eleştiri, veri öznelliğinin örnekleme dağılımının seçilmesidir. veri üretme sürecinin inançları.

Sonuç olarak - MLE'nin genellikle "frekansçı" ve "Bayesci" olarak tanımlamanızın bir meselesi olmasına rağmen, sık sık bir kavram olarak kabul edildiğine inanıyorum.

(kendi sorusunu cevaplar)

Bir tahmin bazı verileri alır ve bir dizi (ya da sayı aralığı) üreten bir fonksiyonudur. Bir tahminci, kendi başına, gerçekten 'Bayesci' veya 'frekansçı' değildir - bunu sayıların girdiği ve sayıların çıktığı bir kara kutu olarak düşünebilirsiniz. Aynı kestiriciyi bir sıkıcıya ve bir Bayesci'ye sunabilirsiniz ve kestirimci hakkında söyleyecekleri farklı şeyler olacaktır.

(Sık ve Bayesci arasındaki basit ayrımımdan memnun değilim - dikkate alınması gereken başka konular da var. Ama basitlik için, sadece iyi tanımlanmış iki felsefi kamp olduğunu farz edelim.)

Bir araştırmacının Bayesian'ın hangi tahmincisi tarafından seçildiğini söyleyemezsiniz. Önemli olan, tahmin ediciler üzerinde yaptıkları analizleri ve bu tahmin ediciyi seçmek için hangi sebepleri verdiklerini dinlemek.

$\theta$$\mathrm{P}(\mathbf{x}|\theta)$

Aynı yazılım bir Bayesian'a sunulduğunda, Bayesyan, sıkça yapılan analizlerin çoğundan memnun olabilir. Evet, diğer her şey eşit, önyargı iyi değil ve tutarlılık iyi. Ancak Bayesci başka şeylerle daha fazla ilgilenecek. Bayesci, tahmin edicinin posterior dağılımın bir fonksiyonu şeklini alıp almadığını görmek isteyecektir; ve eğer öyleyse, daha önce ne kullanılmıştı? Tahminci bir posteriora dayanıyorsa, Bayesian öncekinin iyi olup olmadığını merak edecektir. Eğer öncekinden memnunlarsa ve tahminci posteriorun modunu (eğer posteriorun ortalamasının aksine) bildiriyorsa, bu yorumu tahmine uygulamaktan mutluluk duyarlar: "Bu tahmin nokta hangisinin doğru olma şansına sahip olduğunu tahmin edin. "

Sık sık duyanların ve Bayesci'nin, söz konusu rakamlar aynı olsa bile, olayları farklı "yorumladığını" duydum. Bu biraz kafa karıştırıcı olabilir ve bunun gerçekten doğru olduğunu düşünmüyorum. Onların yorumları birbiriyle çatışmaz; sadece sistemin farklı yönleri hakkında açıklamalar yaparlar. Şu an için nokta tahminlerini bir kenara bırakalım ve bunun yerine aralıkları düşünelim. Özellikle, sık sık güven aralıkları ve Bayes güvenilir aralıkları vardır . Genellikle farklı cevaplar verirler. Ancak bazı modellerde, belirli önceliklerle, iki tür aralık aynı sayısal cevabı verecektir.

Aralıklar aynı olduğunda, bunları nasıl farklı şekilde yorumlayabiliriz? Bir frekansçı bir aralık tahmincisi söyleyecektir:

Önce Verileri ya da karşılık gelen aralığı bkz bir gerçek parametre aralığı içinde ihtiva edilecektir% 95 olasılık en az olduğunu söyleyebiliriz.

bir Bayesçi bir aralık tahmincisi söyleyecektir:

Verileri veya karşılık gelen aralığı gördükten sonra , gerçek parametrenin aralık içinde yer alma olasılığının en az% 95 olduğunu söyleyebilirim.

Bu iki ifade, 'Önce' ve 'Sonra' kelimeleri dışında aynıdır. Bayesci eski ifadeyi anlayacak ve kabul edecek ve aynı zamanda gerçeğinin öncekilerden bağımsız olduğunu ve böylece 'daha güçlü' olmasını sağlayacaktır. Ancak Bayes olarak kendimden bahsetmişken, eski ifadenin çok faydalı olmayacağından endişe ediyorum . Frekansçı ikinci ifadeyi sevmez, ancak frekansçının itirazlarının adil bir tanımını vermeyi yeterince iyi anlamıyorum.

Verileri gördükten sonra, frekansçı gerçek değerin aralıkta yer aldığı konusunda hala iyimser olacak mı? Belki de değil. Bu biraz mantıksızdır, ancak örnekleme dağılımına dayalı güven aralıklarını ve diğer kavramları gerçekten anlamak önemlidir. Sıklığın hala "Veriler göz önüne alındığında, gerçek değerin bu aralıkta olma olasılığının% 95 olduğunu düşünüyorum" diyeceğini düşünebilirsiniz. Bir frekansçı sadece bu ifadenin doğru olup olmadığını değil, olasılıkları bu şekilde atfetmenin anlamlı olup olmadığını da sorgulayacaktır . Bununla ilgili başka sorularınız varsa, bana sormayın, bu sorun benim için çok fazla!

Bayesian şu ifadeyi vermekten mutluluk duyar: "Az önce gördüğüm veriler üzerinde koşullandırma, gerçek değerin bu aralıkta olma olasılığı% 95'tir."

İtiraf etmeliyim ki son noktada biraz kafam karıştı. Veriler görülmeden önce frekansçı tarafından yapılan ifadeyi anlıyorum ve kabul ediyorum . Veriler görüldükten sonra Bayesyan'ın ifadesini anlıyorum ve kabul ediyorum . Ancak, veriler görüldükten sonra sıklığın ne söyleyeceğinden emin değilim ; dünya hakkındaki inançları değişecek mi? Burada sık görülen felsefeyi anlayabilecek bir konumda değilim.

$P(x|\theta)$