Tek bir istatistiksel test, boş hipotezin (H0) yanlış olduğu ve bu nedenle alternatif hipotezin (H1) doğru olduğuna dair kanıt verebilir. Ancak H0’ın doğru olduğunu göstermek için kullanılamaz çünkü H0’yı reddetmek başarısızlık H0’nin doğru olduğu anlamına gelmez.

Ancak, istatistiksel testi birçok kez yapma şansınız olduğunu varsayalım, çünkü birbirinizden bağımsız birçok veri kümeniz var. Tüm veri kümeleri aynı işlemin sonucudur ve işlemin kendisiyle ilgili bazı açıklamalar (H0 / H1) yapmak istiyorsunuz ve her bir testin sonuçlarına ilgi duymuyorsunuz. Daha sonra ortaya çıkan tüm p değerlerini toplarsınız ve histogram grafiği aracılığıyla p değerlerinin net bir şekilde eşit bir şekilde dağıldığını görürsünüz.

Benim akıl yürütmem şu ki, bu sadece H0 doğruysa gerçekleşebilir - p değerleri farklı şekilde dağıtılır. Bu nedenle H0'ın doğru olduğu sonucuna varmak için yeterli kanıt var mı? Ya da burada önemli bir şeyi özlüyorum, çünkü kafamda çok yanlış ses çıkaran "H0'un doğru olduğu sonucunu" yazmam çok fazla isteme geldi.

Sorunuzu beğendim ama maalesef cevabım HAYIR, $H_0$ olduğunu kanıtlamıyor . Sebep çok basit. P değerlerinin dağılımının tek tip olduğunu nasıl bildin? Muhtemelen, size kendi p-değerini geri getirecek bir tek biçimlilik testi yapmak zorunda kalacaksınız ve kaçınmaya çalıştığınız aynı çıkarım sorusu ile bitirdiniz, sadece bir adım daha ileride. Orijinal $H_0$ nın p değerine bakmak yerine , şimdi orijinal p-değerlerinin dağılımının tek biçimliliği hakkında başka bir $H'_0$ değerine bakıyorsunuz .

GÜNCELLEŞTİRME

İşte gösteri. Gaussian ve Poisson dağılımından 100 gözlemden 100 örnek üretiyorum, ardından her bir örneğin normalite testi için 100 p-değeri elde ettim. Dolayısıyla, sorunun öncülü, eğer p-değerleri tekdüze dağılımdan geliyorsa, o zaman, normal çıkarımda istatistiksel bir çıkarımda "reddetme" den daha güçlü bir ifade olan sıfır hipotezinin doğru olduğunu kanıtlar. Sorun şu ki, "p-değerleri tekdüzedir", bir şekilde denemeniz gereken bir hipotezdir.

Aşağıdaki resimde (ilk satır) Guassian ve Poisson örneği için bir normallik testinden p değerlerinin histogramlarını gösteriyorum ve birinin diğerinden daha tek tip olup olmadığını söylemenin zor olduğunu görebilirsiniz. Bu benim ana noktamdı.

İkinci satır, her dağıtımdan örneklerden birini gösterir. Numuneler nispeten küçüktür, bu yüzden gerçekten çok fazla kutuya sahip olamazsınız. Aslında, bu belirli Gaussian örneği, histogramda o kadar fazla Gauss'a benzemiyor.

Üçüncü satırda, her bir dağıtım için 10.000 gözlemin birleştirilmiş örneklerini bir histogram üzerinde gösteriyorum. Burada, daha fazla kutuya sahip olabilirsiniz ve şekiller daha belirgindir.

Sonunda, aynı normallik testini yapıyorum ve birleştirilmiş numuneler için p-değerleri alıyorum ve Gaussian için reddetmediği halde Poisson için normallik reddediyorum. P değerleri şunlardır: [0.45348631] [0.]

Elbette bu bir kanıt değil, p-değerlerinin alt örneklerden dağılımını analiz etmek yerine, aynı testi birleştirilmiş örnek üzerinde daha iyi yaptığınız fikrinin kanıtıdır.

İşte Python kodu:

import numpy as np
from scipy import stats
from matplotlib import pyplot as plt

def pvs(x):
    pn = x.shape[1]
    pvals = np.zeros(pn)
    for i in range(pn):
        pvals[i] = stats.jarque_bera(x[:,i])[1]
    return pvals

n = 100
pn = 100
mu, sigma = 1, 2
np.random.seed(0)
x = np.random.normal(mu, sigma, size=(n,pn))
x2 = np.random.poisson(15, size=(n,pn))
print(x[1,1])

pvals = pvs(x)
pvals2 = pvs(x2)

x_f = x.reshape((n*pn,1))
pvals_f = pvs(x_f)

x2_f = x2.reshape((n*pn,1))
pvals2_f = pvs(x2_f)
print(pvals_f,pvals2_f)

print(x_f.shape,x_f[:,0])


#print(pvals)
plt.figure(figsize=(9,9))
plt.subplot(3,2,1)
plt.hist(pvals)
plt.gca().set_title('True Normal')
plt.gca().set_ylabel('p-value')

plt.subplot(3,2,2)
plt.hist(pvals2)
plt.gca().set_title('Poisson')
plt.gca().set_ylabel('p-value')

plt.subplot(3,2,3)
plt.hist(x[:,0])
plt.gca().set_title('a small sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,4)
plt.hist(x2[:,0])
plt.gca().set_title('a small Sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,5)
plt.hist(x_f[:,0],100)
plt.gca().set_title('Full Sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,6)
plt.hist(x2_f[:,0],100)
plt.gca().set_title('Full Sample')
plt.gca().set_ylabel('x')

plt.show()

$\sqrt{n}$

$H_0$$H_0$

David Hume ve indüksiyon sorunu

$H_0$$H_0$

$\forall_{a \in A} \left[ a \in B \right]$

• Yüzyıllar boyunca Avrupalıların gözlemlediği her kuğu beyazdı. Sonra Avrupalılar Avustralya'yı keşfetti ve siyah kuğular gördü.

• Yüzyıllar boyunca, Newton'un yerçekimi kanunu gözlemle kabul edildi ve doğru olduğu düşünülüyordu. Einstein'ın genel görelilik teorisi tarafından olsa da bozuldu.

$H_0$

İleriye giden yolların (eksik) bir listesi:

Karl Popper ve sahtecilik

In Karl Popper'ın görünümü, hiçbir bilimsel yasa hiç doğru kanıtlanmış. Sadece henüz yanlış olduğu kanıtlanmayan bilimsel yasalarımız var.

Popper, bilimin hipotezleri tahmin ederek ve onları titiz bir incelemeye maruz bırakarak ilerlediğini savundu. Tümevarımla ilerler (gözlem teorilerinin yanlış olduğunu ispatlar), indüksiyonla değil (tekrarlanan gözlem gerçek teorileri kanıtlar). Sık kullanılan istatistiklerin çoğu bu felsefe ile tutarlı olarak oluşturulmuştur.

Popper'ın görüşü son derece etkili olmuştur, ancak Kuhn ve diğerlerinin iddia ettiği gibi, ampirik olarak başarılı bir bilim uygulamasına tam olarak uymuyor.

Bayes, öznel olasılık

$\theta$

$\theta$$\theta$$\theta$$P(\theta)$$P(\theta \mid X)$$\theta$$X$. Çeşitli durumlarda nasıl davrandığınız, bu öznel olasılıklarla ilgili bazı yazışmalara sahiptir.

Bu, kendi öznel inançlarınızı modellemenin mantıklı bir yoludur, ancak gerçeğe uygunluk açısından doğru olan olasılıkları üretmenin sihirli bir yolu değildir. Herhangi bir Bayesian yorumu için zor bir soru, öncelikler nereden geliyor? Ayrıca, eğer model yanlış belirlenmişse?

George P. Box

George EP Box'un ünlü bir aforizması, "tüm modeller yanlış, ancak bazıları yararlıdır" dır.

Newton'un kanunu doğru olmayabilir, ancak birçok sorun için hala yararlıdır. Box'ın görüşü, çalışmaların o kadar güçlendiği modern büyük veri bağlamında oldukça önemlidir; temelde anlamlı bir teklifi reddedebilirsiniz. Yanlışa karşı kesinlikle doğru olanı kötü bir sorudur: Önemli olan modelin verileri anlamanıza yardımcı olup olmadığıdır.

Ek Yorumlar

$\theta \approx 0$

Belki de ilgilenilen, çoklu çalışmaların sonuçlarını istatistiksel olarak analiz etmek meta-analiz olarak adlandırılır .

Dar istatistiksel yorumların ne kadar ötesine geçebileceğiniz zor bir sorudur.

Bir anlamda bazı küçük uyarılar ile haklısın (p eğrisine bakın):

1. Alternatifin altında biraz güç sahibi olmak için teste ihtiyacınız var. Potansiyel problemin gösterimi: 0'dan 1'e homojen bir dağılım olarak bir p değeri üretmek ve ne zaman reddetmek$p \leq \alpha$ is a (admittedly pretty useless) level $\alpha$ test for any null hypothesis, but you will get a uniform distribution of p-values whether $H_0$ is true or not.
2. You can only really show that you are quite close to $H_0$ being true (i.e. under the true parameter values three distribution might be close to uniform, even if $H_0$ is false.

With realistic applications, you tend to get additional issues. These mostly arise, because no one person/lab/study group can usually do all the necessary studies. As a result one tends to look at studies from lots of groups, at which point you have increased concerns (i.e. if you had done all relevant experiments yourself, at least you'd know) of underreporting, selective reporting of significant/surprising findings, p-hacking, multiple testing/multiple testing corrections and so on.

Null hypothesis (H0): Gravity causes everything in the universe to fall toward Earth's surface.

Alternate hypothesis (H1): Nothing ever falls.

Performed 1 million experiments with dozens of household objects, fail to reject H0 with $p < 0.01$ every time. Is H0 true?