Bayesci Hipotez Testi, çıkarım ve karar teorisi çerçevesinde ne anlama geliyor?

Geçmişim ağırlıklı olarak makine öğrenimi ve Bayesci Hipotez testinin ne anlama geldiğini öğrenmeye çalışıyordum. Olasılığın bayes yorumuyla iyiyim ve olasılıklı grafik modeller bağlamında buna aşinayım. Ancak, beni şaşırtan şey, "Hipotez" kelimesinin istatistiksel çıkarım bağlamında ne anlama geldiği.

Ben genellikle makine öğrenimine alışkın olduğum kelime dağarcığıyla karşılaştırıldığında normalde istatistik ve çıkarımda kullanılanlara karşı kafam karışıyor.

Bağlamında denetlenen öğrenme , normalde kendi etiketlerine yani örnekler eşler öngörü fonksiyonu olarak hipotez düşünüyorum $h:\mathcal{X} \rightarrow \mathcal{Y}$ . Ancak bana öyle geliyor ki, yaptığım okumalarda hipotez terimi aynı anlama gelmiyor. Okuduğum okumaların bir özetini yapıştırmama izin verin:

Dikkatlice okursanız şunu da söyler:

gözlemlenen veriler için farklı bir model var ...

model kelimesini kullanıyorlardı. Benim için kelime modeli, belirli bir tahmin işlevi seçersek, bir dizi işlevi düşünmemi sağlıyor. yani bir hipotez sınıf fonksiyon. Örneğin, ikinci dereceden fonksiyonların hipotez sınıfı olabilir (derece 2 polinomu). Ancak bana öyle geliyor ki, bu alıntıda eş anlamlı olarak model ve hipotez kelimesini kullanıyorlar (benim için tamamen farklı kelimeler).$\mathcal{H_{d2}}$

Daha sonra hipoteze öncelik verebileceğimizi söylemeye devam ediyoruz (bayesian bir ortamda yapılması tamamen mantıklı bir şey):

$$p_H(H_m), \ \ \ \ \ m=\{0, 1, ..., M-1 \}$$

ayrıca mevcut bir hipotezle verileri karakterize edebiliriz:

$$p_{y|H}( \cdot |H_m), \ \ \ \ \ m=\{0, 1, ..., M-1 \}$$

ve bazı veriler (ve Baye kuralı) verildiğinde mevcut inancımızı güncelleyin:

$$p_{H|y}(H_m|y), \ \ \ \ \ m=\{0, 1, ..., M-1 \}$$

Ancak, sanırım daha çok bir hipotez sınıfından tüm hipotez sınıfından ziyade belirli bir parametreye (say ) bayes kestirimi yapmaya alışkınım . Temel olarak, bu "hipotezler" alışkın olduğum makine öğrenimi bağlamından aynı hipotezler olmadığı için, bana göre bu hipotezler, hipotez sınıfından çok belirli bir parametresine daha benzerdir .$\theta$$\theta$

Bu noktada, "hipotez" in tahmin işlevindeki ile aynı anlama geldiğine ikna oldum ( örneğin, bir parametre tarafından parametreleştirilmiş ), ama sanırım yanılmışım ...$\theta$

Karışıklık durumumu daha da kötüleştirmek için, daha sonra aynı okumalar gözlemledikleri her eğitim örneğine özel bir "hipotez" belirlemeye devam etti. Ne demek istediğimin bir özünü yapıştırmama izin verin:

bunun beni karıştırmasının sebebi, hipotezi bir parametre olarak yorumlarsam, o zaman benim için gördüğümüz her örnek değeri için belirli bir parametre belirtmenin hiçbir anlamı yoktur. Bu noktada hipotez ile ne anlama geldiğini gerçekten bilmediğim sonucuna vardım ve bu soruyu gönderdim.

Ancak, tam olarak pes etmedim , sıkist istatistiklerde hipotezin ne anlama geldiğini araştırdım ve aşağıdaki han akademisi videosunu buldum . Bu video aslında bana mantıklı bir çok yapar belki bir frequentist vardır (! :) . Bununla birlikte, bir grup veri alırlar (bazı "örnek kümesi" gibi) ve örnek kümesinin özelliklerine dayanarak, verilerle ilgili sıfır hipotezini kabul edip etmemeye karar verirler. Ancak, okuduğum Bayes bağlamında , gözlemlenen her veri [nokta] vektörü için, "Olabilirlik oranı testi" ile bir hipotezle "etiketledikleri" anlaşılıyor:

Her veri örneğine hipotez atama yöntemleri, denetimli bir öğrenme ortamı gibi gözüküyor bile, her bir eğitim setine bir etiket ekliyor olsaydık. Ancak, bu bağlamda yaptıklarını sanmıyorum. Onlar ne yapıyor? Her veri örneğine hipotez atamak ne anlama geliyor? Bir hipotezin anlamı nedir? Model kelimesi ne anlama geliyor?

Temel olarak, karışıklığımın bu uzun açıklamasından sonra, birisi bu bağlamda bayesci hipotez testinin ne anlama geldiğini biliyor mu?

---

Sorumu geliştirmek için herhangi bir açıklamaya veya herhangi bir şeye ihtiyacınız varsa veya sorunun mantıklı olması için size yardımcı olmaktan mutluluk duyarım :)

---

Bir cevap arayışımda istatistiksel hipotez testi ile ilgili bazı yararlı şeyler buldum:

Bir CS geçmişinden (benim gibi) gelirseniz, bu konuya iyi bir giriş sağlar:

Bilgisayar bilimcileri için istatistiksel hipotez testine iyi bir giriş nedir?

Bir noktada "varsayılan parametreler" hakkında sordum (ne demek istediğimi tanımlamalıydım. Standart bir terim olduğunu düşündüm ama öyle değil, bu yüzden burada ele alacağım) ve gerçekten ne demek istediğimi düşünüyorum sahip olduğunuz her hipotez için parametreleri belirtirsiniz. Örneğin, sıfır hipotezinizin ne olduğuna ve parametrelerine nasıl karar verirsiniz? Bununla ilgili bir soru var:

Hipotez testinde sıfır hipotezini belirleme

Bir olasılık modeli dağılım ailesi tarafından istatistiksel bir model verilir. Model parametrik olduğunda, bu aile bilinmeyen bir parametre ile endekslenir : F = { f ( ⋅ | θ ) ; İçeride ISTV melerin RWMAIWi'nin ∈ İçeride ISTV melerin RWMAIWi'nin } tek bir hipotezi test etmek istiyorsa İçeride ISTV melerin RWMAIWi'nin gibi H 0$\theta$

$$\mathcal{F}=\left\{ f(\cdot|\theta);\ \theta\in\Theta \right\}$$ $\theta$ , biri iki modelin karşıt olduğunu düşünebilir: F ve F 0 = { f ( ⋅ | θ ) ; İçeride ISTV melerin RWMAIWi'nin ∈ İçeride ISTV melerin RWMAIWi'nin 0 } Gönderenbenim Bayes perspektifinden, ben veri arkasında modelin endeksi çıkarım çiziyorum M . Dolayısıyla bu endeksi bir önceki koymak p 0 ve p bir yanısıra her iki model parametrelerine, π 0 ( θ ) üzerinde Θ 0 ve$H_0:\,\theta\in\Theta_0$$\mathcal{F}$ $$\mathcal{F}_0=\left\{ f(\cdot|\theta);\ \theta\in\Theta_0 \right\}$$ $\mathcal{M}$$\rho_0$$\rho_a$$\pi_0(\theta)$$\Theta_0$ üzeri Θ . Ve sonra bu indeksin posterior dağılımını çıkarım: π ( m = 0 | x ) = ρ 0 ∫ Θ 0 f ( x | θ ) π 0 ( θ ) d $\pi_a(\theta)$$\Theta$ Kevin Murphy gibiVar. $$\pi(m=0|x)=\dfrac{\rho_0\int_{\Theta_0} f(x|\theta)\pi_0(\theta)\text{d}\theta}{\rho_0\int_{\Theta_0} f(x|\theta)\pi_0(\theta)\text{d}\theta +(1-\rho_0)\int_{\Theta} f(x|\theta)\pi_a(\theta)\text{d}\theta}$$ belge ile bağlantılı çok daha detaya gider Bu perspektife girer ve bütün Bayesli bir kitaptan geçmeyi göze alamazsanız, hipotezlerin istatistiksel testine girmeniz gerekir. Hatta bir makine öğrenme kitabı bile

$X\sim\mathcal{N}(\theta,1)$$H_0:\theta=0$$\theta=0$$\mathcal{N}(0,1)$$\theta$$\theta\sim\mathcal{N}(0,10)$$\rho_0=1/2$

$$\begin{align*}\pi(m=0|x)&=\dfrac{\frac{1}{\sqrt{2\pi}}\exp\{-x^2/2\}}{\frac{1}{\sqrt{2\pi}}\exp\{-x^2/2\} +\int_{\mathbb{R}} \frac{1}{\sqrt{2\pi}}\exp\{-(x-\theta)^2/2\}\frac{1}{\sqrt{2\pi\times10}}\exp\{-\theta^2/20\}\text{d}\theta}\\ &=\dfrac{\exp\{-x^2/2\}}{\exp\{-x^2/2\} +\frac{1}{\sqrt{11}}\exp\{-x^2/22\}} \end{align*}$$

Mükemmel soru. Sanırım karışıklığınız "frekansçı" ve "Bayesci" perspektifler arasındaki bazı temel farklılıklardan kaynaklanıyor olabilir. Birincisi ile ilgili çok deneyime sahibim ve daha sonra yeniyim, bu yüzden birkaç basit gözlem yapmaya çalışmak da bana yardımcı olabilir. Sorunuzu birkaç ayrım yapmak için düzenledim - en azından anladığım kadarıyla. Umarım umursamazsın! Bir sorunum varsa, sorunuzu yeniden düzenleyebilir veya bu yanıta yorum ekleyebilirsiniz.

1) Biraz fazla temel gibi görünme riski altında: Bir model, "Kahvaltıda krep olsaydı, Salı olmalı" gibi gerçeğin bir açıklamasını deneyen herhangi bir ifadedir. Bu nedenle, bir model bir hipotezdir. George Box'un ünlü bir alıntısı: "Tüm modeller yanlış, bazı modeller faydalı." Bir modelin faydalı olması için onu test etmenin bir yolu olmalı. Rakip hipotezler kavramını ve sorularınızdan birine cevap verin. "... İstatistiksel çıkarım bağlamında" bir hipotezin yararlı olabilecek ve matematiksel olarak test edilebilecek herhangi bir model olduğunu öneriyorum. Dolayısıyla hipotez testi, bir modelin faydalı olup olmadığına karar vermenin bir yoludur. Özetle, bir hipotez ele alınan bir modeldir. Aynı işlevin veya farklı işlevlerin farklı parametre değerleri olabilir.

2) Kahn videonuz Bayesian'ın hipotez testine "Frequentist" yaklaşımı dediği şeyin bir örneğidir, bu yüzden Bayesli ders notlarınıza uygulamaya çalışırken sizi şaşırtabilir. İki yaklaşımın uygulanması (tehlikeli olabilir) arasında basit bir ayrım yapmaya çalışıyorum. Bence felsefi ayrımı gayet iyi anlıyorum. Gördüğüm kadarıyla, "Frequentist" verilere rastgele bir bileşen kabul eder ve gözlemlenen verilere rastgele olmayan parametrelerin verilme olasılığını test eder. "Bayesian" verilerin sabit olduğunu varsayar ve rastgele parametrelerin en olası değerini belirler. Bu fark farklı test yöntemlerine yol açar.

"Frequentist" hipotez testinde, yararlı olabilecek bir model, bir etkiyi açıklayan modeldir, bu nedenle "sıfır hipotez" - etkisiz model ile karşılaştırılır. Etkisiz modele karşılıklı olarak münhasır olan kullanışlı bir model oluşturulmaya çalışılmıştır. Test daha sonra hiçbir etki olmadığı varsayımıyla verilerin gözlemlenmesi olasılığı üzerindedir. Bu olasılığın düşük olduğu tespit edilirse, sıfır hipotezi reddedilir ve alternatif kalan tek şeydir. (Bir safkanın asla sıfır hipotezini "kabul edemeyeceğini", sadece "reddetmediğini" unutmayın. Bir iğnenin kafasında dans eden melekler gibi gelebilir, ancak ayrım temel felsefi bir şeydir) Giriş istatistikleri genellikle bunun en basit örneği: "İki grup farklı."farklı olmadıklarından rastgele bir deneyle ölçüldüğü kadar büyük veya daha büyük . Bu genellikle sıfır hipotezinin araçların farkının sıfır olduğu bir t-testidir. Dolayısıyla parametre sabit bir sıfır değerindeki ortalamadır.

Bayes "Bir dakika tutun, biz bu ölçümleri yapılmış ve bunlar diyor vardır o yüzden ne kadar olasılıkla, farklı?" (Şimdi) rasgele parametrenin her değeri için olasılığı hesaplar ve en olası en yüksek olanı seçerler. Yani bir anlamda, parametrenin olası her değeri ayrı bir modeldir. Ancak şimdi, en yüksek olasılıklı modelin önemli olacak kadar farklı olup olmadığına karar vermek için bir yola ihtiyaçları var. Bu yüzden ders notlarınız maliyet fonksiyonunu tanıttı. İyi bir karar vermek için, yanlış karar vermenin sonuçlarının bir miktar varsayımı gereklidir.

3) "Her veri örneğine hipotez atamak ne anlama geliyor?" Onların olduğunu sanmıyorum. "Örnek nokta" ile kastedilen şeye dikkat edin. Belirli bir numune vektörüne atıfta bulunduklarına ve her hipotezin örnek uzayındaki tüm numune vektörleri için ne kadar olası olduğunu bilmek istediğine inanıyorum. Denklemler (14) ve (15) belirli bir numune vektörü için iki hipotezin nasıl karşılaştırılacağını gösterir. Bu yüzden, sadece ikisini nasıl karşılaştıracağınızı göstererek çoklu hipotezleri karşılaştırmanın genel bir argümanını basitleştiriyorlar.

Diyelim ki bir grup kutudan verileriniz var. Veriler Uzunluk (L), Genişlik (W), Yükseklik (H) ve Hacim (V) 'den oluşur.

Kutular / geometri hakkında fazla bir bilgimiz yoksa modeli deneyebiliriz:

V = a*L + b*W + c*H + e

Bu modelde değiştirilebilecek üç parametre (a, b, c) ve hipotezin verilere ne kadar iyi uyduğunu açıklayan bir hata / maliyet terimi (e) vardır. Her parametre değeri kombinasyonu farklı bir hipotez olarak kabul edilir. Seçilen "varsayılan" parametre değeri genellikle sıfırdır; yukarıdaki örnekte V ve L, W, H arasında "ilişki yok" ifadesine karşılık gelir.

İnsanların yaptığı şey, bu "varsayılan" hipotezi, e'nin bir kesim değerinin ötesinde olup olmadığını kontrol ederek, genellikle model uyumunun etrafında normal bir hata dağılımını varsayarak bir p değeri hesaplayarak test etmektir. Bu hipotez reddedilirse, olasılığı en üst düzeye çıkaran ve bunun en olası hipotez olduğunu gösteren a, b, c parametrelerinin kombinasyonunu bulurlar. Bayesiyse, her parametre değeri kümesi için olasılığı bir öncekiyle çarparlar ve arka olasılığı en üst düzeye çıkaran çözümü seçerler.

Açıkçası bu strateji, modelin eklenebilirlik üstlenmesi bakımından uygun değildir ve doğru hipotezin:

V = L*W*H + e

Düzenleme: @Pinocchio

Belki de birisi, bir / birkaç işlevi seçmek için rasyonel bir neden olmadığında (ya da "hipotez sınıfları") sonsuz sayıdadan mümkün olduğunca hipotez testinin uygun olmadığı iddiasıyla aynı fikirde değildi. Tabii ki bu önemsiz bir şekilde doğrudur ve "optimal", sınırlı bir "maliyet fonksiyonu ve sağlanan seçenekler göz önüne alındığında en uygun" anlamında kullanılabilir. Bu yorum cevabımı verdi, çünkü model belirtimi sorununun sınıf notlarınızda nasıl ele alındığını beğenmedim. Çoğu bilimsel işçinin karşılaştığı ana sorun, afaik'in algoritması olmadığı.

Dahası, tarihi anlayana kadar p-değerlerini, hipotez testlerini vb. Anlayamadım, belki de size yardımcı olacaktır. Sıkça yapılan hipotez testlerini çevreleyen birçok karışıklık kaynağı vardır (Bayes varyantının tarihine pek aşina değilim).

Neyman-Pearson anlamında başlangıçta "hipotez testi", Ronald Fisher tarafından geliştirilen "anlamlılık testi" ve aynı zamanda bilimler boyunca yaygın olarak kullanılan bu iki stratejinin kötü tanımlanmış, hiçbir zaman doğru bir şekilde haklı "melezi" olarak adlandırılan şey vardır. yukarıdaki terim veya "boş hipotez anlamlılık testi" kullanılarak rasgele olarak adlandırılabilir). Bir wikipedia sayfasını yetkili olarak almanızı tavsiye etmese de, bu sorunları tartışan birçok kaynak burada bulunabilir . Bazı temel noktalar:

1. "Varsayılan" bir hipotezin kullanılması orijinal hipotez test prosedürünün bir parçası değildir, bunun yerine kullanıcının söz konusu modelleri belirlemek için önceden bilgi kullanması beklenir. Bu modelin savunucuları tarafından, karşılaştırılacak belirli bir hipotez seti seçmek için özel bir nedenimiz yoksa ne yapacağımız konusunda açık bir öneri görmedim. Çoğu zaman bu yaklaşımın, bazı ölçümleri karşılaştırmak için bilinen toleranslar olduğunda kalite kontrol için uygun olduğu söylenir.

2. Fisher'in "anlamlılık testi" paradigması altında alternatif bir hipotez yoktur, sadece boş bir hipotez vardır, bu veriler beklenmedik görülüyorsa reddedilebilir. Okuduğumdan beri Fisher'ın kendisi varsayılan null hipotezlerin kullanımı konusunda netti. Onu hiçbir zaman bu konuyu açıkça yorumladığını bulamadım, ancak bunun tek sıfır hipotezi olmasını kesinlikle tavsiye etmedi.

3. Varsayılan sıfır hipotezinin kullanımı bazen hipotez testinin "kötüye kullanımı" olarak yorumlanır, ancak bahsedilen popüler hibrit yönteminin merkezinde yer alır. Argüman, bu uygulamanın genellikle "yararsız bir ön" olduğu yönündedir:

   "Araştırmacı teorik bir tahmin, genellikle bir etkinin yönü formüle eder ... Veriler aslında tahmin edilen yönelimli sonucu gösterdiğinde, bu hipotezi doğrulamaktadır. Araştırmacı, etkinin aslında İkincisi .05 düzeyinde (veya bazı varyantlarda) reddedilemezse, teorinin görünür doğrulaması iddia edilemez ... Bu tür testlerde yaygın bir hata, elde edilen önem düzeyini karıştırmaktır ( saman kişi null değerini reddetmek) orijinal teori için elde edilen onay düzeyiyle ... onaylamanın gücü aslında bir saman kişi null için elde edilen önem düzeyine değil, [araştırmacının sayısal tahminlerinin keskinliğine] bağlıdır. "

   Psikolojide sıfır hipotezi testi tartışması. David H Krantz. Amerikan İstatistik Derneği Dergisi; Aralık 1999; 94, 448; 1372-1381

Khan academy videosu bu hibrit yöntemin bir örneğidir ve bu alıntıda belirtilen hatayı işlemekten suçludur. Bu videodaki bilgilerden, enjekte edilen sıçanların enjekte edilmemiş olanlardan farklı olduğu sonucuna varabiliriz, videoda ise "ilacın kesinlikle bir etkisi olduğu" sonucuna varabiliriz. Biraz yansıma, belki de test edilen sıçanların enjekte edilmemiş olanlardan daha yaşlı olduğunu düşünmemize yol açacaktır. Teorimiz için kanıt talep etmeden önce makul alternatif açıklamaları ekarte etmemiz gerekir. Teorinin tahmini ne kadar az spesifikse, bunu başarmak o kadar zor olur.

Düzenleme 2:

Belki bir tıbbi teşhis notunuzdan örnek almak yardımcı olacaktır. Bir hastanın "normal" veya "hipertansif krizde" olabileceğini varsayalım.

İnsanların sadece% 1'inin hipertansif krizde olduğu hakkında önceden bilgimiz var. Hipertansif krizdeki insanlar, ortalama = 180 ve sd = 10 ile normal dağılım izleyen sistolik kan basıncına sahiptir. Bu arada, normal insanlar ortalama = 120, sd = 10 ile normal bir dağılımdan kan basıncına sahiptir. Bir kişiyi normal olduğu zaman yargılama maliyeti sıfır, teşhisi kaçırmanın maliyeti 1'dir ve tedaviye bağlı yan etkilere bağlı maliyet, krizde olup olmamalarına bakılmaksızın 0.2'dir. Daha sonra aşağıdaki R kodu eşik (eta) ve olabilirlik oranını hesaplar. Olabilirlik oranı tedavi etmeye karar verdiğimiz eşik değerin üzerindeyse, bizden daha düşük değilse:

#Prior probabilities
P0=.99 #Prior probability patient is normal
P1=1-P0 #Prior probability patient is in crisis

#Hypotheses
H0<-dnorm(x=50:250, mean=120, sd=10) #H0: Patient is normal
H1<-dnorm(x=50:250, mean=180, sd=10) #H1: Patient in hypertensive crisis

#Costs
C00=0 #Decide normal when normal
C01=1 #Decide normal when in crisis
C10=.2 #Decide crisis when normal
C11=.2 #Decide crisis when in crisis

#Threshold
eta=P0*(C10-C00)/ P1*(C01-C11)

#Blood Pressure Measurements
y<-rnorm(3, 150, 20)

#Calculate Likelihood of Each Datapoint Given Each Hypothesis
L0vec=dnorm(x=y, mean=120, sd=10) #Vector of Likelihoods under H0
L1vec=dnorm(x=y, mean=180, sd=10) #Vector of Likelihoods under H1

#P(y|H) is the product of the likelihoods under each hypothesis
L0<-prod(L0vec)
L1<-prod(L1vec)

#L(y) is the ratio of the two likelihoods
LikRatio<-L1/L0


#Plot
plot(50:250, H0, type="l", col="Green", lwd=4, 
     xlab=" Systolic Blood Pressure", ylab="Probability Density Given Model",
     main=paste0("L=",signif(LikRatio,3)," eta=", signif(eta,3)))
lines(50:250, H1, col="Red", lwd=4)
abline(v=y)

#Decision
if(LikRatio>eta){
  print("L > eta  ---> Decision: Treat Patient")
}else{
  print("L < eta  ---> Do Not Treat Patient")
}

Yukarıdaki senaryoda eta = 15.84 eşiği. Üç tansiyon ölçümü yapar ve 139.9237, 125.2278, 190.3765 alırsak, olasılık oranı H1 lehine olabilir: Hipertansif krizde hasta. 27.6, eşik değerden daha yüksek olduğundan tedavi etmeyi seçeriz. Grafik, yeşil renkli normal hipotezi ve kırmızı renkte hipertansif gösterir. Dikey siyah çizgiler gözlemlerin değerlerini gösterir.