Neden öğrencilere p değerlerinin bulguların şansa bağlı olma olasılığı olduğunu öğretmek kötüdür?

Birisi lütfen öğrencilere bir p-değerinin prob olduğunu öğretmenin neden iyi bir fikir olmadığını güzel ve özlü bir açıklama yapabilir mi (bulguları [rastgele] şanstan kaynaklanmaktadır). Anladığım kadarıyla bir p-değeri prob (daha aşırı veri almak | boş hipotez doğru).

Benim asıl ilgim, onlara eski olduğunu söylemenin zararı (basitçe öyle olmaması gerçeği dışında).

Yanlış ifadenin anlamını @Karl'dan farklı bir yorumum var. Boş değerden ziyade veriler hakkında bir ifade olduğunu düşünüyorum. Bunu, şansa bağlı olarak tahminde bulunma ihtimalini istemek olarak anlıyorum. Bunun ne anlama geldiğini bilmiyorum --- iyi tanımlanmış bir iddia değil.

Ancak, gerçek tahminin belirli bir değere eşit olması kaydıyla tahminde bulunma ihtimalimin ne anlama gelebileceğini anlayamadım. Örneğin, ortalama yüksekliklerinin gerçekte aynı olduğu göz önüne alındığında, erkekler ve kadınlar arasındaki ortalama yüksekliklerde çok büyük bir fark yaratmanın ne demek olduğunu anlayabiliyorum. Bu iyi tanımlanmış. Ve p-değeri budur. Yanlış ifadede eksik olan şey, null değerinin doğru olmasıdır.

Şimdi, bunun mükemmel bir ifade olmadığını itiraz edebiliriz (örneğin bir tahminci için tam bir değer elde etme şansı 0'dır). Ancak, çoğu p değerini yorumlama yönteminden çok daha iyidir.

Hipotez testlerini öğretirken tekrar tekrar söylediğim kilit nokta "Birinci adım, boş hipotezin doğru olduğunu varsaymaktır. Her şey bu varsayım göz önüne alınarak hesaplanır." İnsanlar bunu hatırlarsa, bu oldukça iyi.

Bu yorumu çok gördüm (belki de doğru olandan daha sık). "Bulgularının [rastgele] şanstan kaynaklandığını" " doğru " olarak yorumluyorum ve bu yüzden gerçekten söyledikleri Pr ( H 0 ) [gerçekte Pr ( H 0 | data ) olmalı ; diyelim ki, (eğer atama priors hazırız ve Bayes yaparsanız) Bu anlamlı ifadesi olabilir] "Biz (veri) gördüklerimi verilen tek şans çalıştığını olasılık? ne", ama o p değil -değer . $\text{H}_0$$\Pr(\text{H}_0)$$\Pr(\text{H}_0 | \text{data})$

p-değerinden oldukça farklı olabilir ve bu yüzden bir p-değerini bu şekilde yorumlamak ciddi yanıltıcı olabilir.$\Pr(\text{H}_0 | \text{data})$

En basit örnek: önceliğin, oldukça küçük olduğunu, ancak birinin oldukça az veriye sahip olduğunu ve bu nedenle p-değerinin geniş olduğunu söyler (örneğin, 0.3), ama arkadaki Pr ( H 0 | veri ) , hala oldukça küçük olurdu. [Ama belki bu örnek çok ilginç değil.]$\Pr(H_0)$$\Pr(\text{H}_0|\text{data})$

(Eski) öğrenci perspektifinden geç bir cevap ekleyeceğim: IMHO zararının yanılmasından ayrılamaz.

Bu tür yanlış "didaktik yaklaşımlar / kısayol" ifadesi, mantıklı bir şekilde anlayamadıklarını fark eden, ancak onlara öğretilenin doğru olduğunu kabul edemediklerini anlayamadıklarını fark eden öğrenciler için çok fazla kafa karışıklığı yaratabilir. çünkü doğru değil.

Bu, kendilerine sunulan kuralları ezberleyen öğrencileri etkilemez. Ancak, anlayarak öğrenen öğrencilerin yeterince iyi olmalarını gerektirir.

• kendileri tarafından doğru çözüme ulaşmak ve
• yeterince iyi olun ki haklı olduklarından emin olabilirler
• ve onlara saçma öğretildiği sonucuna varıldı (bazı iddialara göre didaktik sebeplerden dolayı).

Geçerli didaktik kısayollar olmadığını söylemiyorum. Ancak bu tür bir kısayol alındığında IMHO'dan bahsetmeliyiz (örneğin, "tartışmanın kolaylığı için, bunu varsayıyoruz / tahmin ediyoruz ...").
Bununla birlikte, bu özel durumda, herhangi bir kullanım için çok yanıltıcı olduğunu düşünüyorum.

Doğrudan şu soruya atıfta bulunarak: Zarar nerede?

Benim düşünceme göre, bu sorunun cevabı, "Bir p değeri, bulguların rastlantısal şanstan kaynaklanma olasılığıdır" ifadesinin tersine yatmaktadır. Eğer biri buna inanıyorsa, muhtemelen biri de aşağıdakilere inanır: "[1- (p-değeri)], bulguların rastlantısal şans nedeniyle OLMAMASI olasılığıdır."

Zarar, ikinci ifadede yatmaktadır, çünkü çoğu insanın beyninin çalışma şekli göz önüne alındığında, bu ifade , tahmin edilen bir parametrenin belirli değerlerinde ne kadar kendimize güvenmemiz gerektiğini büyük ölçüde abartmaktadır .

İşte kullandığım basit bir örnek:

Diyelim ki boş hipotezimiz 2 başlı bir madeni parayı attığımızdır (yani prob (kafalar) = 1). Şimdi parayı bir kere çevirip kafa alıyoruz, bunun için p değerleri 1'dir, yani bu 2 başlı bir madeni para kazanma şansımızın% 100 olduğu anlamına mı geliyor?

İşin en zor yanı, bir yazıyı çevirmiş olsaydık, o zaman p-değeri 0 olurdu ve 2 başlı bir madeni paraya sahip olma olasılığımız 0 olurdu, bu durumda yukarıdakiyle uyuşmuyordu. Yukarıdaki 1'in p değeri, gözlemlediklerimizin 2 başlı bir madalyonun hipotezi ile tamamen tutarlı olduğu anlamına gelir, ancak madalyonun 2 başlı olduğunu kanıtlamaz.

Ayrıca, sıkça istatistik yapıyorsak boş hipotez ya Doğru ya da Yanlış (neyi bilmiyoruz) ve boş hipotezle ilgili (sıkça) olasılık ifadeleri yapmanın anlamı yoktur. Eğer hipotezin olasılığı hakkında konuşmak istiyorsanız, uygun Bayesian istatistiklerini yapın, Bayesian olasılık tanımını kullanın, bir öncekiyle başlayın ve hipotezin doğru olduğu posterior olasılığını hesaplayın. Sadece bir p değerini Bayesian posterioruyla karıştırmayın.

Tamam başka, biraz farklı bunu üstlenmek:

İlk temel sorun "[rastgele] şanstan dolayı" ifadesidir. Belirsiz 'şans' fikri doğal olarak öğrencilere gelir, ancak mantıklı istatistikler yapmak için belirsizlik ve felaket hakkında açıkça düşünmek tehlikelidir. Bozuk para dizileri gibi bir şeyle 'şansın' Binom düzeneği tarafından 0,5 olasılıkla tanımlandığını varsaymak kolaydır. Elbette belli bir doğallık var, ancak istatistiksel açıdan, 0.6 ya da başka bir şeyi varsaymaktan daha doğal değil. Ve daha az 'belirgin' olan örnekler için, örneğin gerçek parametreler dahil olmak üzere, 'şansın' neye benzeyeceğini düşünmek tamamen yararsızdır.

Soruyla ilgili olarak, ana fikir H0 tarafından ne tür bir “şansın” tanımlandığını, yani gerçek ihtimal / DGP H0 adlarını anlamaktır . Bu kavram bir kez ortaya çıktığında, öğrenciler nihayet 'tesadüfen' gerçekleşen şeyler hakkında konuşmayı bırakıp H0'nin gerçekte ne olduğunu sormaya başlarlar. (Ayrıca, işlerin oldukça çeşitli Hs'lerle tutarlı olabileceğini anlarlar, bu nedenle tersine testlerle güven aralığına başlamaya başlarlar).

İkinci sorun, eğer Fisher'ın p-değerleri tanımına gidecekseniz, her zaman ilk önce verinin H0 ile tutarlılığı açısından açıklamanız gerekir, çünkü p'nin amacı bunu yorumlamak değil; kuyruk bölgesi bir tür 'şans' etkinliği olarak (veya kesinlikle yorumlamak için). Bu, açıkça, açıkça retorik bir vurgu meselesidir, ancak yardımcı görünüyor.

Kısacası, zarar, olayları tanımlamanın bu yolunun daha sonra düşünmeye çalışacakları önemsiz herhangi bir modele genelleşmeyeceğidir. En kötüsü, bu tür bowlinger açıklamaların hedeflendiği gibi birçok insanda istatistik çalışmasının ürettiği gizem duygusunu ekleyebilir.

Ayrılsam, "p-değeri bir etkinin tesadüf nedeniyle olma olasılığıdır", bu etkinin tesadüfen ortaya çıktığını ima ediyor gibi görünüyor. Ancak her sonuç kısmen tesadüflerden kaynaklanmaktadır. Kişinin rastgele değişkenlikle görmeye çalışmak zorunda olduğunu açıkladığı bir istatistik dersinde bu oldukça büyülü ve el değmeyecek bir ifadedir. Sahip olmadıkları güçlerle p-değerlerini içine çekiyor.

Belirli bir durumda boş hipotez olma şansını tanımlarsanız, o zaman p-değerinin gözlenen etkinin boş hipotezden kaynaklanma olasılığını verdiğini belirtirsiniz. Bu, doğru ifadeye oldukça yakın görünüyor, ancak olasılıkla ilgili bir koşulun, bu olasılığın nedeni olduğunu tekrar söylemek, fazlasıyla aşmaktadır. P-değerinin boş hipotezi verilen etkinin olasılığı olduğu doğru ifade, boş etkinin nedenini ortaya çıkarmaz. Nedenler gerçek etki, etki etrafındaki değişkenlik ve rastgele şans dahil olmak üzere çeşitlidir. P değeri bunların hiçbirinin olasılığını ölçmez.