14

Yani, bu yaygın bir soru olabilir, ama asla tatmin edici bir cevap bulamadım.

Sıfır hipotezinin doğru (veya yanlış) olma olasılığını nasıl belirliyorsunuz?

Diyelim ki öğrencilere bir testin iki farklı sürümünü veriyorsunuz ve sürümlerin eşdeğer olup olmadığını görmek istiyorsunuz. Bir t-Testi gerçekleştirirsiniz ve p02 değeri verir. Ne güzel bir p değeri! Bu, testlerin eşdeğer olması muhtemel olmadığı anlamına gelmeli, değil mi? Hayır. Maalesef, P (sonuçlar | null) size P (null | results) demiyor gibi görünüyor. Yapılması gereken normal şey, düşük bir p değeriyle karşılaştığımızda sıfır hipotezini reddetmektir, ancak büyük olasılıkla doğru olan sıfır hipotezini reddetmediğimizi nasıl bilebiliriz? Aptalca bir örnek vermek gerekirse, .02 pozitif pozitif oranına sahip bir ebola için bir test tasarlayabilirim: bir kovaya 50 top koyun ve üzerine “ebola” yazın. Bunu biriyle test edersem ve “ebola” topu seçerse, p değeri (P (topu seçme | ebolaları yok)) .02,

Şimdiye kadar düşündüğüm şeyler:

P (null | results) ~ = P (results | null) varsayıldığında - bazı önemli uygulamalar için açıkça yanlış.
P'yi bilmeden hipotezi kabul edin veya reddedin (null | results) - O zaman neden bunları kabul ediyoruz veya reddediyoruz? Bütün düşündüğümüz şey LIKELY yanlış olduğunu reddetmek ve LIKELY doğru olanı kabul etmek değil midir?
Bayes Teoremini Kullanın - Ama önceliklerinizi nasıl alırsınız? Deneysel olarak belirlemeye çalışan aynı yere geri dönmüyor musunuz? Ve onlara a priori seçmek çok keyfi görünüyor.
Burada çok benzer bir soru buldum: stats.stackexchange.com/questions/231580/. Buradaki bir cevap temel olarak, boş bir hipotezin doğru olma olasılığını sormanın mantıklı olmadığını söylüyor çünkü bu Bayesci bir sorudur. Belki kalbinde bir Bayesiyim, ama bu soruyu sormadığımı hayal bile edemiyorum. Aslında, p-değerlerinin en yaygın yanlış anlaşılması, bunların gerçek bir sıfır hipotezinin olasılığı olduğudur. Bu soruyu gerçekten bir sıkıcı olarak soramazsanız, ana sorum # 3: Bir döngüye sıkışmadan önceliklerinizi nasıl alırsınız?

Edit: Tüm düşünceli cevaplar için teşekkür ederim. Birkaç ortak konuya değinmek istiyorum.

Olasılığın tanımı: Eminim bu konuda çok fazla literatür var, ama naif anlayışım "mükemmel rasyonel bir varlığın bilgiyi vereceği inancı" ya da "eğer durumun kârı en üst düzeye çıkaracak bahis oranları" gibi bir şey tekrar edildi ve bilinmeyenlerin değişmesine izin verildi ".
P'yi (H0 | sonuçları) hiç bilebilir miyiz? Kesinlikle, bu zor bir soru gibi görünüyor. Yine de inanıyorum ki, her olasılık teorik olarak bilinebilir, çünkü olasılık her zaman verilen bilgiye bağlıdır. Her olay ya gerçekleşecek ya da olmayacak, bu yüzden tam bilgi ile olasılık mevcut değildir. Sadece yeterli bilgi olmadığında mevcuttur, bu yüzden bilinmelidir. Örneğin, birisinin bozuk parası olduğu ve kafa olasılığını sorduğum söylenirse,% 50 diyebilirim. Madalyonun kafalara% 70 ağırlıklı olduğu olabilir, ancak bana bu bilgi verilmedi, bu yüzden sahip olduğum bilgiler için olasılık% 50 idi, tıpkı kuyruklara düşmüş olsa bile, olasılık% 70 oldu Bunu öğrendiğimde kafaları. Olasılık daima bir dizi (yetersiz) veriye bağlı olduğundan,
Düzenleme: "Her zaman" biraz fazla güçlü olabilir. Olasılığını belirleyemediğimiz bazı felsefi sorular olabilir. Yine de, gerçek dünyadaki durumlarda, "neredeyse hiçbir zaman" mutlak kesinliğe sahip olamasak da, "neredeyse her zaman" en iyi tahmin olmalıdır.

probability hypothesis-testing bayesian

— Kalev Maricq
kaynak

1

Eğer 'null hipoteziniz' gibi bir , yani bazı farklar sıfırsa, bunu reddetmek, olduğuna dair yeterince kanıt bulduğunuz anlamına gelir . Bunun yerine gibi boş bir hipotez kullanabilirsiniz , yani, bazı farklar en az kadar büyüktür (burada , araştırmacının önem verdiği en küçük farktır) ve reddetmek, bulduğunuz anlamına gelir. (yani ). Eşdeğerlik istatistikleri için testlere bakın. Stackexchange.com/tags/tost/info

H_{0} : θ = 0

$H_{0}: \theta = 0$

H_{A} : θ = 0

$H_{A}: \theta = 0$

H_{0} : | θ | \geq Δ

$H_{0}: |\theta| \ge \Delta$

Δ

$\Delta$

Δ

$\Delta$

H_{A} : | θ | < Δ

$H_{A}: |\theta| < \Delta$

- Δ < θ < Δ

$-\Delta < \theta < \Delta$

— Alexis

Bir deneyin (ve deneyin sonuçlarını analiz eden istatistiksel testin) gücü, belirli bir boyutta veya daha büyük bir etki olursa, deneyin belirli bir önem eşiğinde saptama olasılığıdır. statisticsdonewrong.com/power.html

— Bennett Brown

bkz stats.stackexchange.com/questions/166323/...

Madeni para örneğiniz iyi bir örnek. Sadece sonuçları biliyorsanız ve başka varsayımlar yapmazsanız asla P (H0 | sonuçları) bilmeyeceğinizi gösterir . Belirli bir atışta kafaların madalyonun belirli bir adaletini 'varsayarak' olasılığını biliyor musunuz ? Evet. (ancak varsayımlar göz önüne alındığında bu varsayımsaldır ve varsayımlarınızın doğru olup olmadığını asla bilemezsiniz) Önceki birtakım sonuçları bilirken belirli bir atışta kafa olasılığını biliyor musunuz? Hayır! ve bildiğiniz önceki sonuçların sayısının ne kadar önemli olduğu önemli değildir. Bir sonraki atışta olasılık kafalarını tam olarak bilemezsiniz.

— Sextus Empiricus

13

Kesinlikle önemli bir sorun tanımladınız ve Bayesinizm bu sorunu çözmeye yönelik bir girişimdir. İsterseniz daha önce bilgilendirici olmayan birini seçebilirsiniz. Başkalarının Bayes yaklaşımı hakkında daha fazla bilgi vermesine izin vereceğim.

Ancak şartlar büyük çoğunluğunda, sen biliyorsunpopülasyonda null yanlıştır, sadece etkinin ne kadar büyük olduğunu bilmezsiniz. Örneğin, tamamen gülünç bir hipotez oluşturursanız (örneğin, bir kişinin kilosunun SSN'sinin tek mi yoksa çift mi olduğu ile ilgili olduğu) ve bir şekilde tüm popülasyondan doğru bilgi almayı başarırsanız, iki yol tam olarak eşit olmayacaktır. Muhtemelen önemsiz miktarda farklılık göstereceklerdir, ancak tam olarak eşleşmeyeceklerdir. 'Bu rotaya giderseniz, p değerlerini ve önem testlerini ortadan kaldıracak ve etki büyüklüğü ve doğruluğunun tahminine bakarak daha fazla zaman harcayacaksınız. Yani, çok büyük bir örneğiniz varsa, tek SSN'li kişilerin SSN'li insanlardan bile 0.001 pound daha ağır olduğunu ve bu tahmin için standart hatanın 0.000001 pound olduğunu görebilirsiniz, bu yüzden p <0.05, ancak hiç kimsenin umursamaması gerekir.

— Peter Flom - Monica'yı eski durumuna döndürün
kaynak

1

n

$n$

1

Etki büyüklüğü hakkında iyi bir nokta. Sorunun doğada Boole olduğu bir hastalık testi gibi durumlar için bir analog var mı?

— Kalev Maricq

1

FWIW, bir kişinin kilosu ile SSN'lerinin tek mi yoksa çift mi arasında bir ilişki olmadığına inanmaya tamamen istekliyim. Gözlemsel bir çalışmada, bu değişkenler sonuçta 0 olmayan bir marjinal ilişki olacak şekilde diğer bazı değişkenler, vb. İle ilişkilendirilecektir. Geçerli bir nokta, araştırmacıların araştırma yapmak için zaman harcadıkları çoğu şey için, gerçek olmayan bir etki olduğundan şüphelenmek için iyi bir neden olduğunu düşünüyorum.

— gung - Monica'yı eski durumuna döndürün

1

@gung ne istersen inanabilirsin, ama kesinlikle ağırlık ve SSN arasında sıfır olmayan bir ilişki var. İlişki hakkında varlığı dışında ve muhtemelen küçük olduğu hakkında daha fazla bir şey biliyoruz.

— emory

1

Ağırlığın sürekli bir değişken olduğunu biliyorum. Her ne kadar tam sayı kilogram olarak kaydedebiliriz. Yorumunuz gözlemsel bir çalışma hakkındaydı (örneğe dayalı bir popülasyon hakkında çıkarımlar yapmak). Çalışmam varsayımsal dolar ile finanse edildiğinden, sonsuz hassasiyet ölçekleri kullanan bir nüfus çalışmasıdır - istatistiksel çıkarsama gerek yoktur.

— emory

3

Bu soruyu cevaplamak için olasılığı tanımlamanız gerekir. Bunun nedeni, sıfır hipotezinin doğru (nokta sıfır hipotezlerini düşündüğünüzde neredeyse hiç olmamasıdır) veya yanlış olmasıdır. Bir tanım, olasılıklarımın, verilerimin düşündüğüm diğer hipotezlerden ortaya çıkma olasılığına kıyasla, bu hipotezden ne kadar olası olduğuna dair kişisel inancımı tanımladığıdır. Bu çerçeveden başlarsanız, önceliğiniz yalnızca önceki tüm bilgilerinize dayanır, ancak eldeki veriler hariç tutulur.

— jaradniemi
kaynak

İyi bir nokta. Olasılık fikrinin kişisel düşüncem yerine "mükemmel rasyonel inanç" gibi bir şey olduğunu düşünüyorum. Sorumu ele almak için sorumu düzenledim.

— Kalev Maricq

2

Anahtar fikir, gevşek bir şekilde, bir şeyin ampirik olarak yanlış olduğunu gösterebilmenizdir (sadece bir karşı örnek verin), ancak bir şeyin kesinlikle doğru olduğunu gösteremezsiniz (karşı örneklerin olmadığını göstermek için "her şeyi" test etmeniz gerekir).

Yanlışlanabilirlik bilimsel yöntemin temelidir: bir teorinin doğru olduğunu varsayarsınız ve tahminlerini gerçek dünyada gözlemlediğinizle karşılaştırırsınız (örn. Netwon'un yerçekimi teorisinin "doğru" olduğuna inanılana kadar aşırı koşullarda çok iyi çalışmaz).

Hipotez testinde de olan budur: P (sonuçlar | null) düşük olduğunda, veriler teoriyle çelişmektedir (ya da şanssızsınız), bu nedenle sıfır hipotezini reddetmek mantıklıdır. Aslında, null değerinin doğru olduğunu varsayalım, o zaman P (null) = P (null | results) = 1 olduğundan, P (sonuç | null) 'un düşük olmasının tek yolu P (sonuç)' un düşük (zor şans) olmasıdır.

Öte yandan, P (sonuçlar | null) yüksek olduğunda kim bilir. Belki null yanlıştır, ancak P (sonuç) yüksektir, bu durumda daha iyi bir deney tasarlamanın yanı sıra gerçekten hiçbir şey yapamazsınız.

Tekrar edeyim: sadece sıfır hipotezinin (muhtemelen) yanlış olduğunu gösterebilirsiniz. Yani cevabın ikinci noktanızın yarısı olduğunu söyleyebilirim: null değerini reddetmek için P (sonuçlar | null) düşük olduğunda P (null | results) bilmenize gerek yoktur, ancak null'un doğru olduğunu söyleyemezsiniz P (sonuç | null) yüksektir.

Tekrarlanabilirliğin çok önemli olmasının nedeni de budur: Beşte beş kez şanssız olmak şüpheli olacaktır.

— Siyah ayı
kaynak

H_{0} :

$H_0:$

H_{a l t e r n a t i v e} :

$H_{alternative}:$

Martijn ile aynı fikirdeyim. Eğer sıfır hipotezinin yanlış olma olasılığını nasıl belirleyeceğimi söyleyebilirseniz, soruma başarılı bir cevap olduğunu düşünürdüm.

— Kalev Maricq

μ_{1000}

$\mu_{1000}$

P (μ_{1000} = 3.50)

$P(\mu_{1000}=3.50)$

2

-------------------------------------------------- ---------------------

(değiştir: Bence bu sorunun cevabında benim yorumumun bir versiyonunu bu soruya daha fazla eklemem yararlı olur)

P (a | b) 'nin simetrik olmayan hesaplaması, p (sonuç | hipotez) gibi nedensel bir ilişki olarak görüldüğünde ortaya çıkar. Bu hesaplama her iki yönde de çalışmaz: bir hipotez olası sonuçların dağılımına neden olur, ancak sonuç hipotezlerin dağılımına neden olmaz.

P (sonuç | hipotez), nedensellik ilişkisi hipotezi -> sonucuna dayanan teorik değerdir.

P (a | b) bir korelasyon veya gözlenen frekans (mutlaka nedensel bir ilişki değil) ifade ediyorsa, simetrik hale gelir. Örneğin, bir spor takımının kazandığı / kaybettiği oyun sayısını ve bir spor tablosunda 2 takım golünün altında veya bu sayıya eşit veya daha fazla maç spor takım skorlarını yazarsak. Sonra P (kazan | puan> 2) ve P (puan> 2 | kazan) benzer deneysel / gözlemsel (teorik değil) nesnelerdir.

-------------------------------------------------- -------------------

Çok basit

P (sonuç | hipotez) ifadesi o kadar basit gözüküyor ki, terimleri kolayca tersine çevirebileceğinizi kolayca düşündürüyor. Bununla birlikte, 'sonuç' olasılık dağılımıyla (hipotez verildiğinde) stokastik bir değişkendir. Ve 'hipotez' (tipik olarak) stokastik bir değişken değildir. Eğer 'hipotezi' stokastik bir değişken yaparsak, farklı sonuçların olasılık dağılımına sahip olduğumuz gibi, farklı olası hipotezlerin olasılık dağılımını ima eder. (ancak sonuçlar Bayes teoremi aracılığıyla bize bu hipotezin olasılık dağılımını vermez ve sadece dağılımı değiştirir)

Bir örnek

Diyelim ki 10 mermer çizdiğiniz 50/50 oranında kırmızı / mavi mermere sahip bir vazo var. Daha sonra P (sonuç | vazo deneyi) gibi bir şeyi kolayca ifade edebilirsiniz, ancak P (vazo deneyi | sonuç) ifade etmek çok az mantıklıdır. Sonuç (kendi başına) farklı olası vazo deneylerinin olasılık dağılımı değildir.

Birden fazla olası vazo denemesi türünüz varsa, bu durumda P (vazo deneyi türü) gibi bir şeyi ifade etmek ve bir P (vazo deneyi | sonuç türü) elde etmek için Bayes kuralını kullanmak mümkündür, çünkü şimdi vazo deneyi stokastik bir değişkendir. (not: daha doğrusu P'dir (vazo deneyi tipi | vazo deneylerinin sonucu ve dağılımı))

Yine de, bu P (vazo deneyi | sonucu) belirli bir başlangıç dağılımı P (vazo deneyi tipi) hakkında bir (meta-) hipotezi gerektirir.

Sezgi

belki aşağıdaki ifade bir yönü anlamaya yardımcı olur

X) X ile ilgili hipotez verilen X olasılığını ifade edebiliriz.

Böylece

1) Sonuçlar hakkında hipotez verilen sonuçların olasılığını ifade edebiliriz.

ve

2) Bu hipotezler hakkında (meta-) hipotez verilen bir hipotez olasılığını ifade edebiliriz.

(1) 'in tersini ifade etmemize izin veren Bayes kuralıdır, ancak bunun için (2)' ye ihtiyacımız var, hipotezin stokastik bir değişken olması gerekir.

Çözüm olarak reddetme

Dolayısıyla sonuçlar göz önüne alındığında hipotez için mutlak bir olasılık elde edemeyiz . Bu hayatın bir gerçeği, bu gerçekle savaşmaya çalışmak tatmin edici bir cevap bulamamanın kaynağı gibi görünüyor. Tatmin edici bir cevap bulmanın çözümü şudur: hipotez için (mutlak) bir olasılık elde edemeyeceğinizi kabul etmek.

Frequentists

Bir hipotezi kabul edememekle aynı şekilde, P (sonuç | hipotez) sıfıra yakın olduğunda da (otomatik olarak) hipotezi reddetmemeliyiz. Bu sadece inançlarımızın değişimini destekleyen kanıtların olduğu anlamına gelir ve aynı zamanda yeni inançlarımızı nasıl ifade etmemiz gerektiğine P (sonuç) ve P (hipotez) de bağlıdır.

Sık sık bazı ret planları olduğunda, o zaman bu iyidir. İfade ettikleri şey, bir hipotezin doğru ya da yanlış olup olmadığı ya da bu gibi durumların olasılığı değildir. Bunu yapamazlar (öncekiler olmadan). Bunun yerine ifade ettikleri şey, yöntemlerinin başarısızlık oranı (güven) hakkında bir şeydir (belirli varsayımlar doğruysa).

her şeyi bilen

Tüm bunlardan kurtulmanın bir yolu, olasılık kavramını ortadan kaldırmaktır. Vazoda 100 mermerin tamamını gözlemlerseniz, bir hipotez hakkında belirli ifadeleri ifade edebilirsiniz. Yani, her şeyi bilen biri olduysanız ve olasılık kavramı önemsizse, o zaman bir hipotezin doğru olup olmadığını belirtebilirsiniz (olasılık aynı zamanda denklem dışında da olsa)

— Sextus Empiricus
kaynak

Vazo örneğiniz mantıklı. Bununla birlikte, gerçek hayatta, her renkten kaç mermerin vazoda olduğunu neredeyse hiç bilmiyoruz. Kendimi her zaman "Maviden daha fazla kırmızı mermerler var mı?" Şimdi, "muhtemelen ~ 100 mermer var ve her bir mermer% 50 olasılıkla kırmızı veya mavi" gibi varsayımlar yapabilirim, ancak gerçek hayatta, kendimi genellikle keyfi olmayan ve dairesel olmayan bir şekilde nasıl alacağım konusunda bir kayıpta bulurum bu öncelikler.

— Kalev Maricq

Bu olasılıkla ilgili bir problemden çok epistemolojik bir sorudur. P (sonuç | hipotez) gibi bir ifade benzer şekilde "yanlış" dır, yani varsayımsal bir ifadedir. 'Gerçeklik' ile ilgili varsayımsal bir inanç göz önüne alındığında sonuç olasılığını ifade edebilirsiniz . Deneysel bir sonuç için olasılık varsayımsal olduğu gibi, bazı teorilerin olasılığı için bir ifade (bir sonucun bir kısmı gözlemli olsun veya olmasın), 'gerçeklik' hakkında belirli bir varsayımsal inanç gerektirir. Evet, öncelikler biraz keyfi. Ama bir hipotez de öyle.

— Sextus Empiricus

Olasılıklar hakkında konuşmak. Bayes kuralının yaklaşık iki stokastik değişken olduğuna dikkat edin: P (a | b) P (b) = P (b | a) P (a). Koşullu olasılıkları ilişkilendirebilirsiniz. Bu P (b | a) 'dan biri nedensel bir ilişkiyse ,' teori sonuçların dağılımına yol açar 'ise, o zaman kesin olarak hesaplayabilirsiniz. Böyle bir durum sadece (1 yönlü) nedenselliktir. Hipotez, ihtiyacınız olan her şeyi, vazodaki mermerleri bilmenizi (varsayımsal) sağlar. Diğer yol, işe yaramıyor. Deneysel bir sonuç 4 kırmızıya karşı 1 mavi, mermerin vazoda olasılık dağılımına neden olmaz .

— Sextus Empiricus

Sıfır Hipotezinin Doğru Olma Olasılığı

-------------------------------------------------- ---------------------

-------------------------------------------------- -------------------

Çok basit

Bir örnek

Sezgi

Çözüm olarak reddetme

Frequentists

her şeyi bilen