PTLOS alıştırmasını 4.1 çözen var mı?


19

Olasılık Teorisi: Bilimin Mantıkında verilen bu alıştırma Edwin Jaynes, 2003. Burada kısmi bir çözüm var . Daha genel bir kısmi çözüm buldum ve başka birinin çözüp çözmediğini merak ediyordum. Cevabımı göndermeden önce, başkalarına bir şans vermek için biraz bekleyeceğim.

Tamam, varsayalım ki ile gösterilen birbirini dışlayan ve kapsamlı hipotezimiz var . Ayrıca ile belirtilen veri setlerimiz olduğunu varsayalım . I hipotezi için olasılık oranı şu şekilde verilir:nHi(i=1,,n)mDj(j=1,,m)

LR(Hi)=P(D1D2,Dm|Hi)P(D1D2,Dm|H¯i)

Bunların koşullu olasılıklar olduğuna dikkat edin. Şimdi bu verilen i'inci hipotezi varsayalım Elimizdeki böylece veri setleri, bağımsız:Him

P(D1D2,Dm|Hi)=j=1mP(Dj|Hi)(i=1,,n)Condition 1

Payda da bu durumda etken olsaydı oldukça uygun olurdu, böylece:

P(D1D2,Dm|H¯i)=j=1mP(Dj|H¯i)(i=1,,n)Condition 2

Bu durumda, olasılık oranı her veri kümesi için daha küçük faktörlerin bir ürününe bölünecektir, böylece:

LR(Hi)=j=1mP(Dj|Hi)P(Dj|H¯i)

Bu durumda, her veri kümesi diğer veri kümelerinden bağımsız olarak " için oy " veya " karşı oy " .HiHi

Alıştırma, (ikiden fazla hipotez) durumunda, bu faktoringin gerçekleşebileceği önemsiz bir yol olmadığını kanıtlamaktır . Yani, koşul 1 ve koşul 2'nin geçerli olduğunu varsayarsanız, faktörlerden en fazla biri: 1'den farklıdır ve bu nedenle olasılık oranına yalnızca 1 veri kümesi katkıda bulunacaktır.n>2

P(D1|Hi)P(D1|H¯i)P(D2|Hi)P(D2|H¯i)P(Dm|Hi)P(Dm|H¯i)

Şahsen bu sonucu oldukça etkileyici buldum, çünkü temel olarak çoklu hipotez testinin bir dizi ikili hipotez testinden başka bir şey olmadığını gösteriyor.


dizin tarafından biraz kafam karıştı ; bir ? Yoksa mı? İkincisi olmalı gibi görünüyor, ama sonra neden altyazıdan emin değilim. Ya da belki tamamen başka bir şey eksik :) ˉ H i=argmaxhHiP(D1,Dm|h) ˉ H i=argmaxh{H1,,Hn}P(D1,Dm|h)H¯iH¯i=argmaxhHiP(D1,Dm|h)H¯i=argmaxh{H1,,Hn}P(D1,Dm|h)
JMS

@JMS - " yanlış" mantıksal ifadesini veya diğer hipotezlerden birinin doğru olduğunu ifade eder. "Boolean cebiri" nde (hipotez nedeniyle münhasır ve kapsamlı)H¯iHiH¯iH1+H2++Hi1+Hi+1++Hn
olasılık

Sanders'ın kısmi çözümünde verilen cebirden daha sezgisel bir çözüm olması gerektiğini hissediyorum. Her hipotez göz önüne alındığında veriler bağımsızsa, hipotezin öncelikleri değiştiğinde bu durum korunmaya devam eder. Ve her nasılsa, sonuç aynı sonuç için de geçerli olmalı ...
charles.y.zheng

@charles - Tam olarak nasıl hissettiğini biliyorum. Bazı nitel tutarsızlıklar (Reductio ad absurdum) kullanarak türetebileceğimi düşündüm, ama yapamadım. Sander'ın matematiğini genişletebilirim. Ve sonucun ne anlama geldiğine göre "tehlikeli" olan Koşul 2'dir.
olasılık

@probabilityislogic "temel olarak çoklu hipotez testinin bir dizi ikili hipotez testinden başka bir şey olmadığını gösterir." Lütfen, bu cümleyi genişletebilir misiniz? kitabından 98. sayfayı okuyarak, testlerini diğer hipotezlere karşı test ve sonra bir şekilde için posterior almak için normalleştirebileceğinizi , ancak bunun neden takip edeceğini anlayamıyorum Uygulama sonuçlarından 4.1. H1,,HnH1H1
Martin Drozdik

Yanıtlar:


7

Denk. 4,28 (kitapta, durumunuz 1) belli bir hipotez verilen verilerin olasılığını kabul olmasıydı ve arka plan bilgisi herhangi diğer bir deyişle, bağımsız ve ile :HaXDiDjij

P(Di|DjHaX)=P(Di|HaX)(1)
İkili durumun ötesinde uzayabilirlik bu nedenle şu şekilde tartışılabilir: .1 doğru olmak gerekirse, denklem 2 de doğru mu?

P(Di|DjHa¯X)=?P(Di|Ha¯X)(2)
İlk önce çarpım kuralını kullanarak denklem 2'nin sol tarafına bakalım:

n { H 1H n } ¯ H a = b a H b P ( D i | D j ¯ H a X ) = b a P ( D i | D j H b X ) P ( G j B b | X )

P(Di|DjHa¯X)=P(DiDjHa¯|X)P(DjHa¯|X)(3)
yana hipotez karşılıklı olarak özel ve ayrıntılı olarak yazılır, yazabiliriz: Yani eq.3 şöyle olur: Yalnızca iki hipotezimiz olması durumunda, özetlemeler kaldırılır (yalnızca bir ), aday ve paydadaki eşit terimler, ), iptal etme ve denklem 2 doğru olduğundan,n{H1Hn}
Ha¯=baHb
baP(DjHb|XHb=¯ H a
P(Di|DjHa¯X)=baP(Di|DjHbX)P(DjHb|X)baP(DjHb|X)=baP(Di|HbX)P(DjHb|X)baP(DjHb|X)
baP(DjHb|XHb=Ha¯ . Bu nedenle, 4.29 denklemi kitaptaki 4.28 denkleminden türetilebilir. Ancak ikiden fazla hipotezimiz olduğunda, örneğin üç hipotezimiz varsa bu gerçekleşmez: , yukarıdaki denklem şu olur: Başka bir deyişle: Bu denklemin denklemi 2 verebilmesinin tek yolu her iki paydanın 1'e eşit olması, yani paydalar sıfıra eşit olmalıdır. Ama bu imkansız.P ( D i | D j ¯ H 1 x ) = p ( D ı | H 2 x ) p ( D J , H 2 | X ) + P ( D ı | H 3 x ) p ( D j , H 3 | X ){H1,H2,H3} p(Di|Dj ¯ H 1 x)=p(Dı|H2x)
P(Di|DjH1¯X)=P(Di|H2X)P(DjH2|X)+P(Di|H3X)P(DjH3|X)P(DjH2|X)+P(DjH3|X)
P(Di|DjH1¯X)=P(Di|H2X)1+P(DjH3|X)P(DjH2|X)+P(Di|H3X)1+P(DjH2|X)P(DjH3|X)

1
Bence dördüncü denklem yanlış. Biz olması gerekenP(DiDjHb|X)=P(DiHB|X)P(Dj|HbX)
probabilityislogic

Çok teşekkür ederim olasılık, çözümü düzeltebildim. Şimdi ne düşünüyorsun?
astroboy

Jaynes'in "Mantıksal bağımsızlık ile nedensel bağımsızlık arasında ayrım yapamayanlar, (4.29) 'un her zaman geçerli olduğunu varsayar" dediğini anlamıyorum.
astroboy

Son verilen cevabı bulduğumu düşünüyorum: yukarıdaki cümleden hemen sonra: "sadece hiçbir başka bir üzerinde fiziksel bir etki göstermemesi ". Aslında Jaynes, fiziksel etkiye sahip olmasalar bile, genellemenin ikiden fazla hipoteze izin vermediği mantıksal bir sınırlama olduğunu söylüyor. DiDj
astroboy

Metni tekrar okuduktan sonra son yorumumun iyi bir cevap olmadığını hissediyorum. Şimdi anladığım kadarıyla Jayne, “Mantıksal bağımsızlık ve nedensel bağımsızlık arasında ayrım ” demek istedi: ve fiziksel bir etkisi olmadığı varsayılır. Bu nedenle, onlar için herhangi bir hipotez seti üzerinde mantıklı bağımsızlık anlamına gelen nedensel bağımsızlığa sahiptirler. Böylece tüm bu tartışmaları anlamsız buluyorlar ve ikili durumu genellemeye devam ediyorlar. DiDj
astroboy

1

Tamam, öyleyse Saunder denklemini (5) gidip yeniden türetmek yerine, burada sadece ifade edeceğim. Koşul 1 ve 2 aşağıdaki eşitliği ifade eder:

j=1m(kihkdjk)=(kihk)m1(kihkj=1mdjk)
burada
djk=P(Dj|Hk,I)hk=P(Hk|I)

Şimdi ve etiketleyerek (iki veri kümesi) . Bu iki veri kümesinin hala 1 ve 2 koşullarını karşıladığına dikkat edin, bu nedenle yukarıdaki sonuç onlar için de geçerlidir. Şimdi durumunda genişliyoruz :m=2D1(1)D1D2(1)D2D3Dmm=2

(kihkd1k)(lihld2l)=(kihk)(lihld1ld2l)

kilihkhld1kd2l=kilihkhld1ld2l

kilihkhld2l(d1kd1l)=0(i=1,,n)

terimi , yukarıdaki çift iki kez, bir kez ve olduğunda ve bir kez daha ve . Bu, olduğu sürece gerçekleşir . Her terimin katsayısı ve . Vardır Şimdi çünkü bu denklemlerin, aslında kaldırabilirsiniz bu denklemlerinden. Örneklemek gerekirse, , şimdi bu ve hariç tüm koşullara sahip olduğumuz anlamına gelir . Şimdi(d1ad1b)k=al=bk=bl=aa,bid2bd2aiii=1a=1,b=2b=1,a=2i=3ve şimdi bu iki koşula sahip olabiliriz (bunun en az üç hipotez olduğunu varsayarız). Böylece denklem şu şekilde yeniden yazılabilir:

l>khkhl(d2ld2k)(d1kd1l)=0

Şimdi terimlerinin her biri sıfırdan büyük olmalıdır, aksi takdirde hipotezi ile uğraşıyoruz ve cevap açısından yeniden formüle edilebilir . Böylece bunlar yukarıdaki koşullardan kaldırılabilir:hin1<nn1

l>k(d2ld2k)(d1kd1l)=0

Bu nedenle, var olan olduğu: sağlanması gerekir koşulları ve her bir durum iki "alt koşullar" bir ima biri için veya (ancak her ikisi birden değil). Şimdi için tüm benzersiz çiftlerden . Aldığımız olsaydı biri için bu çiftleri , o zaman tüm numaraları olurdu sette ve . Bunun nedeni, ilk çiftin elemanı olması ve her ek çiftin sete en az bir ek eleman getirmesidir *n(n1)2djk=djlj=1j=2(k,l)djk=djln1j1,,ndj1=dj2==dj,n1=dj,n2

Ancak, koşulu olduğundan, en azından değerine eşit veya daha büyük en küçük tamsayıyı seçmemiz gerektiğini unutmayın. veya biri için . Eğer daha sonra seçilen açısından sayısı daha büyük olan . Eğer ya da o zaman seçmelisiniz tam olarak terimler. Bu, . Sadece iki hipotezle ( ) bu gerçekleşmez. Ancak Saunder'ın makalesindeki son denklemden bu eşitlik koşulu şunları ima eder:n(n1)212×n(n1)2=n(n1)4j=1j=2n>4n1n=4n=3n1dj1=dj2==dj,n1=dj,nn=2

P(Dj|H¯i)=kidjkhkkihk=djikihkkihk=dji=P(Dj|Hi)

Bu nedenle, olasılık oranında:

P(D1(1)|Hi)P(D1(1)|H¯i)=P(D1|Hi)P(D1|H¯i)=1 ORP(D2(1)|Hi)P(D2(1)|H¯i)=P(D2D3,Dm|Hi)P(D2D3,Dm|H¯i)=1

Kanıtı tamamlamak için, ikinci koşul geçerliyse sonucun zaten kanıtlandığını ve yalnızca bir oranın 1'den farklı olabileceğini unutmayın. İlk koşul ve . Sonra katkıda veya tek katkıda bulunan olur. muhafazalarına katkıda bulunmadığında üçüncü bir yeniden etiketleme . Dolayısıyla, koşul 1 ve koşul 2 tutulduğunda olasılık oranına sadece bir veri seti katkıda bulunabilir ve ikiden fazla hipotez vardır.D1(2)D2D2(2)D3,DmD1,D2D2D1D2

* NOT: Ek bir çift yeni terim getirmeyebilir, ancak bu 2 yeni terim getiren bir çift tarafından dengelenir. örneğin 'yi ilk olarak [+2], [+1] ve [+0] olarak kabul edin, ancak bir sonraki terim her iki için . Bu iki terim ekleyecektir [+2]. Eğer daha fazla seçim yapmamız gerekmiyor, ama "diğer" için olmayan 3 çifti seçmeliyiz . Bunlar ün ve dolayısıyla eşitlik geçerlidir, çünkü tüm sayılar küme içindedir.dj1=dj2dj1=dj3dj2=dj3djk=djlk,l(1,2,3)n=4j(1,2),(2,3),(1,3)(1,4),(2,4),(3,4)(1,2,3,4)


Bu kanıtın doğruluğundan şüphe etmeye başlıyorum. Saunders matematiklerindeki sonuç , üzerinde yalnızca doğrusal olmayan kısıtlama anlamına gelir . Bu, in yerine yalnızca serbestlik derecesine sahip olmasını sağlar . Ancak koşullarına ulaşmak için farklı bir argüman gereklidir. ndjkdjkn2nn(n1)2
olasılık

0

Kayıt için, burada biraz daha kapsamlı bir kanıt var . Ayrıca bazı arka plan bilgileri içerir. Belki de bu konuyu inceleyen başkaları için yararlı olabilir.

ana fikri, 1. ve 2. koşullarının tüm veri kümeleri için olduğunu ima ettiğini göstermektir. . Daha sonra tüm bu veri kümeleri için Bu nedenle, bir veri kümesi hariç tümü için Kanıtı buraya dahil etmek istememin nedeni, dahil edilen bazı adımların hiç açık olmadığı ve koşullardan başka bir şey kullanmamaya dikkat edilmesi gerektiğidir. 1 ve 2 ve ürün kuralı (diğer kanıtların birçoğu dolaylı olarak yaptığı gibi). Yukarıdaki bağlantı

P(Dmk|HiX)=P(Dmk|X),
mk=1,,m
P(Dmk|H¯iX)=P(Dmk|X).
P(Dmk|HiX)P(Dmk|H¯iX)=P(Dmk|X)P(Dmk|X)=1.
tüm bu adımları ayrıntılı olarak içerir. Google Drive'ımda ve erişilebilir kaldığından emin olacağım.


Çapraz Doğrulanmış hoş geldiniz . Cevabınız için teşekkür ederim. Verdiğiniz bağlantının ana noktalarını eklemek için cevabınızı genişletmek üzere düzenleyebilir misiniz? Hem bu sitede arama yapan kişiler hem de bağlantının kopması durumunda daha yararlı olacaktır. Bu arada, daha önce yapmadıysanız , Turu alma fırsatını kullanın . Ayrıca Nasıl Yanıtlanır , biçimlendirme yardımı ve LaTeX / MathJax kullanarak denklemleri yazmayla ilgili bazı ipuçlarına bakın .
Ertxiem - Monica'yı

Yorumun için teşekkürler. Gönderiyi düzenledim ve ispatın ana adımlarını çizdim.
dennis
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.