Bayes İstatistikleri önceliklerin yokluğunu nasıl ele alıyor?

Bu sorudan biri CV'de , diğeri ekonomi alanında son iki etkileşimimden ilham aldım .

, Bir cevap var yayınlanmıştır vardı tanınmış "Zarf Paradox" (seni sakıncası olarak "doğru cevap" ama durumun yapısı hakkında belirli varsayımlara akan cevap olarak). Bir süre sonra bir kullanıcı eleştirel bir yorum gönderdi ve ben de onun amacını anlamaya çalışırken konuştum. Onun Bayes yolu düşündüğünü belliydi, ve önsel bahsediyordu -ve o zaman kafama dank etti, ben de kendini dedim ki: "Bekle bir dakika, önceden herhangi bir söz etti ki? Yolla ben belirledim sorun, burada öncelik yok, sadece resme girmiyorlar ve buna gerek yok ".

Son zamanlarda, bu cevabı CV'de, İstatistiksel Bağımsızlığın anlamı hakkında gördüm . Yazara cümlesinin

“... eğer olaylar istatistiksel olarak bağımsızsa (tanım gereği) birini diğerini gözlemlemekten öğrenemeyiz.”

açıkça yanlıştı. Bir yorum alışverişinde, (sözleri) konusuna dönmeye devam etti.

"Öğrenmek", bir başkasının gözlemine dayanan bir şey hakkındaki inançlarımızı değiştirmek anlamına gelmez mi? Öyleyse, bağımsızlık (tanımsal olarak) bunu engellemez mi?

Bir kez daha Bayes yolunu düşündüğü ve bazı inançlarla (yani bir önceki ile) başladığımızı açıkça gördüğü ve sonra bunları nasıl değiştirebileceğimiz / güncelleyebileceğimiz açıktı . Ama ilk inanç nasıl yaratılır?

Bilim gerçeğe uygun olması gerektiğinden, söz konusu olan insanların dahil oldukları durumların var olduğunu belirtiyorum (bir kere, önceden bir şey olmadan durumlara giriyorum - ve lütfen önceliklerim olduğunu iddia etmiyorum ama ben sadece farkına varmayın, kendimizi sahte psikanalizi burada koruyalım).

"Bilgisiz öncelikler" terimini duyduğumdan, sorumu iki bölümden ayırıyorum ve Bayesian teorisinde bilgili olan kullanıcıların tam olarak ne sormak istediğimi bildiğinden oldukça eminim:

S1: Önceden bilgilendirici olmayana (katı teorik anlamda) daha önce eşdeğer bir şey olmaması mı?

Birinci çeyreğin cevabı "Evet" ise (lütfen biraz ayrıntı ile), o zaman Bayes yaklaşımının evrensel olarak ve en başından geçerli olduğu anlamına gelir , çünkü herhangi bir durumda dahil olan insan "Önceliğim yok" elindeki dava için bilgilendirici olmayan bir öncekidir.

Ama eğer birinci çeyreğin cevabı "Hayır" ise, ikinci çeyrek gelir:

S2: 1. çeyreğin cevabı "Hayır" ise, bu, önceliğin olmadığı durumlarda, Bayes yaklaşımının en başından itibaren uygulanamayacağı ve öncelikle Bayes olmayan bir yolla bir öncülük oluşturmamız gerektiği anlamına gelir. daha sonra Bayesci yaklaşımı uygulayabilmemiz için?

S1: Önceden bilgilendirici olmayana (katı teorik anlamda) daha önce eşdeğer bir şey olmaması mı?

Hayır.

İlk olarak, "bilgilendirici olmayan bir öncekinin" matematiksel bir tanımı yoktur. Bu kelime sadece bazı öncelikleri tanımlamak için gayri resmi olarak kullanılmaktadır.

Örneğin, Jeffrey'in önceliğine genellikle "bilgilendirici" denir. Bu, çeviri değişmezi problemleri için önceki üniformayı genelleştirir. Jeffrey'in önceleri bir şekilde modelin (bilgi teorisi) Riemann geometrisine uyum sağlar ve bu nedenle sadece model olan manifoldun geometrisine (dağılım uzayında) bağlı parametrelendirmeden bağımsızdır. Kanonik olarak algılanabilir, ancak bu sadece bir seçimdir. Riemann yapısına göre önceki tek tip. Sorunun basitleştirilmesi olarak "bilgisiz = üniform" olarak tanımlamak saçma değildir. Bu birçok vaka için geçerlidir ve açık ve basit bir soru sormaya yardımcı olur.

Önceden Bayesci çıkarım yapmak "nasıl tahmin edebilirim$E(X)$$X$$X$$[0;1]$

Bayesci ve sık görüşlü yaklaşımlar basitçe farklı sorulara cevap verir. Örneğin, belki de en basit tahminciler hakkında:

• $\theta$$x$$\theta$

• $\theta$$\theta$

Her nasılsa, frekansçı en kötü durum kontrolünü hedefler ve bir önceliğe ihtiyaç duymaz. Bayesian ortalama kontrolü hedefler ve "ne anlamda ortalama?"

S2: 1. çeyreğin cevabı "Hayır" ise, bu, önceliğin olmadığı durumlarda, Bayes yaklaşımının en başından itibaren uygulanamayacağı ve öncelikle Bayes olmayan bir yolla bir öncülük oluşturmamız gerektiği anlamına gelir. daha sonra Bayesci yaklaşımı uygulayabilmemiz için?

Evet.

Ama kanonik inşaat öncesi sakının. Matematiksel olarak çekici gelebilir, ancak Bayes açısından otomatik olarak gerçekçi değildir. Matematiksel olarak güzel bir öncenin aslında aptal bir inanç sistemine karşılık gelmesi mümkündür. Örneğin;$X\sim N(\mu,1)$$\mu$

Önceki spesifikasyonlarla ilgili gerçek problemler bence daha karmaşık problemlerde ortaya çıkıyor. Burada önemli olan, önceden belirli bir şeyin ne söylediğini anlamaktır.

Her şeyden önce, Bayesci yaklaşım sıklıkla kullanılır çünkü zenginleştirmek için modelinize önceden bilgi eklemek istersiniz. Önceden bilginiz yoksa, "bilgilendirici olmayan" veya haftalık bilgilendirici önceliklere bağlı kalırsınız. Homojenlik hakkında varsayım beri üniforma öncesinde, tanımı gereği "veremeyen" olmadığı Bildirimi olan bir varsayım. Var gerçekten uninformative öncesinde diye böyle bir şey. "Herhangi bir şey olabilir" in mantıklı "bilgilendirici olmayan" bir ön varsayım olduğu durumlar vardır, fakat aynı zamanda "tüm değerlerin eşit derecede muhtemel" olduğunu çok güçlü ve mantıksız bir varsayım olarak ifade eden durumlar da vardır. Örneğin, boyumun 0 santimetre ile 3 metre arasında herhangi bir şey olabileceğini varsayarsanız, tüm değerlerin eşit derecede öncelikli olması, bu makul bir varsayım olmaz ve uç değerlere çok fazla ağırlık verir, böylece muhtemelen posteriorunuzu deforme edebilir.

Diğer yandan, Bayesian, önceden herhangi bir bilginizin veya inancınızın olmadığı bir durumun gerçekten olmadığını savunur. Her zaman bir şey olduğunu varsayabilirsiniz ve bir insan olarak, bunu her zaman yapıyorsunuz (psikologlar ve davranışsal ekonomistler bu konuda tonlarca araştırma yaptılar). Öncekilerle bütün Bayes karışıklığı bu önyargıları ölçmek ve bunları modelinizde açıkça belirtmekle ilgilidir, çünkü Bayesian çıkarımları inançlarınızı güncellemekle ilgilidir .

Soyut problemler için "önceden varsayım yok" argümanları veya tekdüze öncelikler bulmak kolaydır, ancak gerçek yaşam problemleri için önceden bilgi sahibi olursunuz. Bir zarf içindeki para miktarı hakkında bir bahis yapmanız gerekiyorsa, miktarın negatif ve sonlu olması gerektiğini bilirsiniz. Ayrıca, yarışmanın kuralları, rakibiniz için mevcut fonlar, zarfın fiziksel büyüklüğü ve fiziksel olarak sığabilecek para miktarı hakkında bilginiz göz önüne alındığında, olası para miktarı için üst sınır hakkında eğitimli bir tahmin yapabilirsiniz. Ayrıca, rakibinizin zarfa koymaya istekli olabileceği ve muhtemelen gevşek olabileceği para miktarı hakkında da bazı tahminlerde bulunabilirsiniz. Öncekiniz için bir üs olarak bileceğiniz birçok şey var.

soru 1 Bence cevap muhtemelen hayır. Benim nedenim, nihai cevabın keyfi olarak bilgilendirici bir model / olasılıktan ne kadar uzak olduğunu bir şekilde ölçmek dışında, aslında "bilgilendirici olmayan" bir tanımımızın olmamasıdır. Birçok bilgisiz öncelik, halihazırda "model / olabilirlik" ve "cevap" akılda bulunduğumuz "sezgisel" örneklere göre onaylanmıştır. Daha sonra bize istediğimiz cevabı vermeden önce bilgilendirici olmayana soruyoruz.

Benim sorunum, birisinin kendi popülasyonu için gerçekten iyi, iyi bilgilendirilmiş bir model veya model yapısına sahip olabileceğine ve aynı zamanda bu model için olası ve olası parametre değerleri hakkında "hiçbir bilgiye" sahip olmadığına inanmakla mücadele etmektir. Örneğin lojistik regresyon kullanmak için, bkz. "ZAYIF BİLGİLENDİRİCİ BİR VARSAYILAN ÖNCE DAĞITIM. LOJİSTİK VE DİĞER REGRESYON MODELLERİ İÇİN"

Öncelikle ayrık üniforma, makul olarak söyleyebileceğimiz tek şey "ilk ilk" önceki olduğunu düşünüyorum. Ama bunu kullanma, "bilginiz yok" diye düşündüğünüz problemlerle karşılaşıyorsunuz, ama sonra birden "sezgisel olmayan" cevaplara tepki veriyorsunuz (ipucu: Bayesci bir cevaptan hoşlanmıyorsanız - bir öncekinden veya olasılık!). Karşılaştığınız bir başka sorun da, takdirinizi probleminiz için doğru hale getirmektir. Ve bunu düşünürken bile, önceden ayrık üniformayı uygulamak için ayrık değerlerin sayısını bilmeniz gerekir.

Öncekiniz için göz önünde bulundurmanız gereken diğer bir özellik, kullandığınız olasılığa göre "kuyruk davranışı" dır.

2. soruya

Kavramsal olarak, önceden ya da olasılık kullanmadan bir dağıtım belirtmeyle ilgili yanlış bir şey görmüyorum. "Pdf'im ... ve bu pdf'yi wrt hesaplamak istiyorum" diyerek bir soruna başlayabilirsiniz. Ardından, önceki, önceki öngörme ve olasılık için bir kısıtlama oluşturuyorsunuz. Bayes yöntemi, bir önceliğiniz ve bir olasılığınız olduğunda ve bunları posterior bir dağılımda birleştirmek istediğinizde içindir.

Muhtemelen olasılıklarınızın ne olduğu konusunda net olmak meselesidir. Sonra argüman "bu pdf / pmf temsil ettiğim şeyi temsil ediyor mu?" - bence içinde olmak istediğin alan bu. Örneğinizden, tek dağıtımın mevcut tüm bilgileri yansıttığını söylüyorsunuz - kullandığınız dağıtımda zaten (dolaylı olarak) bulunduğu için "önceden" yoktur.

$U (0,1)$$Bin(n,p)$$Beta (0,0)$$2$$1$

açık sözde yanlış yorumda

Dürüst olmak gerekirse, herhangi bir gözlem sayısının "istatistiksel olarak bağımsız" bir gözlemi tahmin etmek için nasıl kullanılabileceğini görmek beni çok ilgilendirir. Örnek olarak, size 100 standart normal değişken üreteceğimi söylersem. Sana 99 veriyorum ve bana 100 için en iyi tahmininizi vermenizi istiyorum. 100 için 0'dan daha iyi bir tahmin yapamayacağınızı söylüyorum. Ama size hiçbir veri vermezsem 100 için tahmin edeceğiniz gibi. Böylece 99 veri noktasından hiçbir şey öğrenemezsiniz.

Ancak, "normal dağılım" olduğunu söylersem, parametreleri tahmin etmek için 99 veri noktasını kullanabilirsiniz. O zaman veriler artık "istatistiksel olarak bağımsız" değildir, çünkü daha fazla veri gözlemlediğimiz için ortak yapı hakkında daha fazla şey öğreniriz. En iyi tahmininiz artık 99 veri noktasının tümünü kullanıyor

Bu, diğer mükemmel cevaplara ek olarak sadece kısa bir açıklamadır. Genellikle veya en azından bazen, istatistiksel analize giren bilginin hangi kısmına veri denir ve hangisine önceden çağrılır . Veya daha genel olarak, istatistiksel bir analizdeki bilgilerin üç kaynaktan geldiğini söyleyebiliriz: model , veri ve önceki . Doğrusal modeller veya glm'ler gibi bazı durumlarda, ayırma en azından geleneksel olarak oldukça açıktır.

Puanımı göstermek için Maksimum Olabilirlik Tahmininden (MLE) bir örneği layman terimleriyle tekrar kullanacağım. Bir hastanın, teşhis edilmesi zor olduğu ortaya çıkan bazı tıbbi problemlerle bir doktor ofisine girdiğini varsayalım. Bu doktor daha önce benzer bir şey görmedi. Daha sonra hastayla konuştuğunda bazı yeni bilgiler ortaya çıkıyor: bu hasta yakın zamanda tropikal Afrika'yı ziyaret etti. Sonra doktora sıtma veya başka bir tropikal hastalık olabileceği anlaşılıyor. Ama dikkat, bu bilgiler bize açıkça olduğuna verilerancak en azından kullanılabilecek birçok istatistiksel modelde, analize, önceki dağılım, bazı tropikal hastalıklara daha yüksek olasılık veren bir önceki dağılım şeklinde girecektir. Ancak, belki de, bu bilgilerin veri olarak girdiği bazı (daha büyük), daha eksiksiz bir model yapabiliriz. Dolayısıyla, en azından kısmen, ayrım verileri / önceki gelenekseldir.

Bazı konvansiyonel model sınıflarına verdiğimiz önem nedeniyle bu sözleşmeye alışkınız ve kabul ediyoruz. Ancak, daha büyük şemalarda, stilize istatistiksel modeller dünyasının dışında, durum daha az açıktır.