Ne zaman (eğer öyleyse) sıkça bir yaklaşım Bayesans'tan önemli ölçüde daha iyidir?

Arkaplan : Bayesian istatistiklerinde resmi bir eğitimim yok (daha fazla öğrenmeyi çok isterim), fakat yeterince bilgim var - bence - neden çoğu kişinin Frequentist istatistiklere tercih edildiğini düşündüğünün anlamını elde etmek için. Giriş istatistiğindeki lisans öğrencileri bile (sosyal bilimlerde) sınıf öğretiyorum Bayesian yaklaşımını çekici buluyorum - “Neden boş verilmişse verinin olasılığını hesaplamakla ilgileniyoruz? ? sıfır hipotezi Veya alternatif hipotez Ve ayrıca okudum konuları gibi bu yanı Bayesian istatistik ampirik yararları kanıtlamak, Ama sonra Blasco tarafından bu teklif geldi (2001; vurgu eklenmiştir).:

Hayvan yetiştiricisi, indüksiyonla ilgili felsefi problemlerle ilgilenmiyorsa, ancak problemleri çözen araçlarla ilgileniyorsa, hem Bayesyan hem de sık görülen çıkarım okulları iyi bir şekilde oluşturulmuştur ve neden birinin veya diğer bir okulun tercih edildiğinin gerekçelendirilmesi gerekli değildir. Şu anda hiçbiri, bazı karmaşık durumlar dışında, operasyonel zorluklar yaşıyor ... Bir okul seçmek veya diğerini seçmek, bir okulda diğerinin sunmadığı çözümler olup olmadığı , sorunların ne kadar kolay çözüldüğü ile ilgili olmalıdır. ve bilim insanının ne kadar rahat hissettiğini ifade etme biçiminin belirli bir şekilde.

Soru : Blasco'nun teklifi, Freyanist bir yaklaşımın aslında bir Bayesçiye tercih edilmesinin uygun olduğu zamanlar olabileceğini öne sürüyor. Bu yüzden merak ediyorum: ne zaman bir Bayesian yaklaşımına göre sıkça bir yaklaşım tercih edilir? Soruyu hem kavramsal olarak ele alan (yani, boş hipotezde yer alan verilerin özellikle yararlı mı?) Ve ampirik olarak (yani, Frequentist metotlar hangi koşullar altında Bayesian?

Cevapların mümkün olduğu kadar erişilebilir bir şekilde iletilmesi de tercih edilirdi - öğrencilerimle paylaşmak için dersime bazı cevaplar almam iyi olurdu (bazı teknik seviyelerin gerekli olduğunu bilmeme rağmen).

Son olarak, Frequentist istatistiklerin düzenli bir kullanıcısı olmama rağmen, aslında Bayesian’ün yeni tahtayı kazanma ihtimaline açığım.

İşte frekansçı yöntemlerin tercih edilmesinin beş nedeni:

• Daha hızlı. Bayesian istatistiklerinin sık sık cevaplara neredeyse aynı cevaplar vermesi göz önüne alındığında (ve alınmadığında, Bayesian’nin her zaman olduğu gibi olduğu% 100 açık değildir ), sıkça istatistiklerin çoğu zaman birkaç büyüklük sırası elde edilebileceği gerçeği güçlü bir argüman. Aynı şekilde, sık kullanılan yöntemler sonuçları depolamak için fazla bellek gerektirmez. Bu şeyler biraz önemsiz görünse de, özellikle daha küçük veri kümeleriyle, Bayesian ve Frequentist’in sonuçlarda genellikle aynı fikirde olması (özellikle çok sayıda bilgi verisi varsa), umursamayla ilgili daha az önemli olanla ilgilenmeye başlayabileceğiniz anlamına gelir. bir şeyler. Ve elbette, eğer büyük veri dünyasında yaşıyorsanız, bunlar önemsiz değildir.

• Parametrik olmayan istatistikler. Bayesian istatistiklerinin parametrik olmayan istatistiklere sahip olduğunu kabul ediyorum, ancak alanın sık tarafının Ampirik Dağılım Fonksiyonu gibi gerçekten inkar edilemez pratik araçlara sahip olduğunu savunuyorum. Dünyadaki hiçbir yöntem hiçbir zaman EDF'nin, ne de Kaplan Meier eğrilerinin vb. Yerini almaz (bu yöntemlerin bir analizin sonu olduğu söylenemez).

• Daha az tanılama. Bayesian modellerini yerleştirmek için en yaygın yöntem olan MCMC yöntemleri, tipik olarak, kullanıcı tarafından sıkça çalışan karşı parçalarından daha fazla iş gerektirir. Genellikle, bir MLE tahmininin teşhisi o kadar basittir ki, herhangi bir iyi algoritma uygulamasının otomatik olarak yapması gerekir (bununla birlikte, mevcut her uygulamanın iyi olduğunu söylemek değildir ...). Bu nedenle, frekansçı algoritmik teşhis tipik olarak "modele uyarlanırken kırmızı metin olmadığından emin olun" şeklindedir. Tüm istatistikçilerin bant genişliği sınırlı olduğu göz önüne alındığında, bu, "verilerim gerçekten normal mi?" veya "bu tehlikeler gerçekten orantılı mı?" vb.

• Modelin yanlış tanımlanması altında geçerli çıkarım. Hepimiz "Tüm modeller yanlış ama bazıları yararlıdır" duyduk, ancak farklı araştırma alanları bunu az çok ciddiye alıyor. Frequentist literatür, model yanlış belirlendiğinde çıkarımı düzeltmek için yöntemlerle doludur: önyükleme tahmincisi, çapraz doğrulama, sandviç tahmincisi (bağlantı ayrıca model yanlış tanımlaması altındaki genel MLE çıkarımını da tartışır), genelleştirilmiş tahmin denklemleri (GEE'ler), yarı olabilirlik yöntemleri, vb bildiğim kadarıylaBununla birlikte, Bayesian literatüründe, modelin yanlış tanımlanması altındaki çıkarım hakkında çok az şey vardır (her ne kadar model kontrolü, yani arka tahmin kontrolleri hakkında çok fazla tartışma vardır). Bunu sadece tesadüf eseri olarak düşünmüyorum: bir tahmincinin tekrarlanan denemelere göre nasıl davrandığını değerlendirmek, tahmincinin "gerçek" bir modele dayanmasını gerektirmez, ancak Bayes teoremini kullanır!

• Birinden özgürlük (bu muhtemelen insanların neden Bayesian yöntemlerini her şey için kullanmamasının en yaygın nedenidir). Bayesian bakış açısının gücü genellikle önceliklerin kullanımı olarak lanse edilir. Ancak, çalıştığım tüm uygulamalı alanlarda, analizden önce bilgilendirici bir fikir olduğu düşünülmemektedir. İstatistiki olmayan uzmanların önceliklerini nasıl çıkartacağınıza dair literatür okumak, bunun için iyi bir nedendir; Şeyleri söyleyen makaleleri okudum (kendi isteğimi yorumlayan acımasız saman adam gibi) "Sizi işe alan araştırmacıya sorun, çünkü hayal etmekte zorlayacakları etki büyüklüğünün% 90'ı kadar bir aralık vermeleri için istatistikleri anlamada zorluk çekiyorlar. Bu aralık genellikle çok dar olacaktır, bu yüzden keyfi olarak biraz genişletmelerini sağlayın, inançlarının gama dağılımına benzemesini isteyin. Muhtemelen onlar için bir gama dağılımı çizmeniz ve şekil parametresi küçükse nasıl ağır yazılara sahip olabileceğini göstermeniz gerekecektir. Bu aynı zamanda PDF'nin kendilerine ne olduğunu açıklamayı da içerecektir. ”(Not: İstatistikçilerin bile gerçekten doğru bir şekilde söyleyebileceklerini sanmıyorum.önsel etki boyutu aralığında yer almaktadır, ve bu fark analizi üzerinde önemli bir etkiye sahip olup olmadığını,% 90 ya da belirli bir% 95 olup!). Gerçeği söylemek gerekirse, çok kaba davranıyorum ve bir önceliğe sahip olmanın biraz daha kolay olabileceği durumlar olabilir. Ama bunun bir kurtçuk kutusudur. Bilgilendirici olmayan önceliklere geçseniz bile, yine de bir sorun olabilir; Parametreleri dönüştürürken, bilgilendirici olmayan öncelikler için kolayca yanlış olan şeyler aniden çok bilgilendirici olarak görülebilir! Bunun başka bir örneği ben ısrarla yapmak birkaç araştırmacılarla konuştum olmasıdır değilBaşka bir uzmanın verileri yorumlamasının ne olduğunu duymak istiyorum çünkü ampirik olarak diğer uzmanlar kendinden emin olma eğilimindedir. Sadece diğer uzmanın verilerinden neyin çıkarılabileceğini bilmek istiyorlar ve sonra kendi sonuçlarına geliyorlardı. Nerede duyduğumu hatırlayamıyorum, ama bir yerlerde "Eğer bir Bayesian iseniz, herkesin bir Sıkça Olmasını İstiyorsunuz" ifadesini okudum. Teorik olarak demek gerekirse, eğer bir Bayesli iseniz ve birisi analiz sonuçlarını açıklarsa, önce onların etkilerini ortadan kaldırmaya çalışmalı ve sonra kendinizin kullanmış olsaydı, etkinin ne olacağını bulmalısınız. Bu küçük egzersiz, size güvenilir bir aralıktan çok bir güven aralığı vermiş olsalardı, basitleştirilecekti!

Tabii ki, bilgilendirici öncelikleri bırakırsanız, Bayesian analizlerinde hala fayda var. Şahsen, en yüksek faydalarının yattığına inandığım yer; MLE yöntemlerini kullanmaktan herhangi bir cevap almak son derece zor olan ancak MCMC ile kolayca çözülebilen bazı problemler vardır . Fakat bunun Bayesian'ın en yüksek faydası olduğu konusundaki görüşüm, tarafımdaki güçlü önceliklerden kaynaklanıyor, o yüzden bir tuz tuzu ile alın.

Sık istatistiklerin birkaç somut avantajı:

• Sık sık sorunlara yönelik kapalı form çözümleri çoğu zaman vardır, oysa Bayesian analogunda kapalı form çözümüne sahip olmak için bir konjugata ihtiyacınız olacaktır. Bu, birkaç işlem için faydalıdır - bunlardan biri hesaplama zamanıdır.
• İnşallah sonunda ortadan kalkacak bir sebep: meslekten olmayanlara istatistikçiler öğretilir. Birçok kişi tarafından anlaşılmak istiyorsanız, sıkça konuşmanız gerekir.
• "Kanıtlanana Kadar Masum" Boş Hipotez Önemlilik Testi (NHST) yaklaşımı, amaç birisinin yanlış olduğunu ispatlamakta faydalıdır (hakkınızı alacağım ve ezici verinin yanlış olduğunuzu gösterdiğini göstereceğim). Evet, Bayesian’de NHST analogları var, ancak frekansçı versiyonları çok daha basit ve yorumlanabilir buluyorum.
• Orada böyle bir şey bir şekilde gerçekten bazı insanlar rahatsız ediyor uninformative önce.

Şaşırtıcı bir şekilde henüz belirtilmemiş olan Frequentist yaklaşımları kullanmanın en önemli nedeni hata kontrolüdür. Çok sık olarak, araştırma iki taraflı yorumlara yol açar (bunun üzerine bir araştırma yapmalı mıyım yoksa yapmamalı mıyım? Bir müdahale yapmalı mı, yapmamalı mı?). Sık görüşme yaklaşımları, Tip 1 hata oranınızı kesinlikle kontrol etmenizi sağlar. Bayes yaklaşımı yok (bazıları evrensel olabilirlik yaklaşımlarından kaynaklansa da, ancak o zaman bile, hata oranları küçük örneklerde ve göreceli olarak düşük kanıt eşikleriyle (ör., BF> 3) oldukça yüksek olabilir. Bayes faktörleri (örneğin http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2604513) ama bu hala Frequentist bir yaklaşım. Araştırmacılar, hata kontrolü konusunda kendileri için kanıtların ölçülmesinden (bazı spesifik hipotezlere göre) daha fazla önem verdiklerini düşünüyorum ve en azından herkesin hata kontrolünü bir dereceye kadar umursadığını düşünüyorum ve bu nedenle iki yaklaşım kullanılmalıdır. bütünleyici.

Bence bir istatistikçi olarak en büyük sorulardan biri, kendinize sormanız gereken, olasılık ilkesine inanıp inanmamanız. Olasılık ilkesine inanmıyorsanız, o zaman istatistiklere sıkça benzeyen paradigmanın son derece güçlü olabileceğini düşünüyorum, ancak, olasılık ilkesine inanıyorsanız, o zaman (inanıyorum) kesinlikle Bayesyan paradigmasını içinde bulundurmanız gerekir. ihlal etmemek için.

---

Bilmediğiniz durumda, olasılık ilkesinin bize söylediği şey şudur:

$\theta$$\mathbf{x}$

$$\ell(\theta;\mathbf{x})=p(\mathbf{x}|\theta)$$ $\mathbf{x}$

$\mathbf{x}$$\mathbf{y}$$\ell(\theta;\mathbf{x})$$\ell(\theta;\mathbf{y})$$C(\mathbf{x},\mathbf{y})$

$$\ell(\theta;\mathbf{x})=C(\mathbf{x},\mathbf{y})\ell(\theta;\mathbf{y})\hspace{.1in}\text{for all }\theta,$$

$\mathbf{x}$$\mathbf{y}$

$C(\mathbf{x},\mathbf{y})$$(\mathbf{x},\mathbf{y})$$C(\mathbf{x},\mathbf{y})$$\theta$

$C(\mathbf{x},\mathbf{y})=1$$\theta$$\theta$

---

Şimdi, Bayesian istatistiklerinin sonuçlarından biri, uygun öncelikler altında, Bayesian paradigmasının, olasılık ilkesini asla ihlal etmemesidir. Bununla birlikte, frekansçı paradigmanın olasılık ilkesini ihlal edeceği çok basit senaryolar vardır.

İşte hipotez testine dayanan çok basit bir örnek. Aşağıdakileri göz önünde bulundur:

12 Bernoulli denemesinin yapıldığı ve 3 başarı görüldüğü bir deney düşünün. Durma kuralına bağlı olarak, verileri aşağıdaki gibi tanımlayabiliriz:

• $X|\theta\sim\text{Bin}(n=12,\theta)$$x=3$
• $Y|\theta\sim\text{NegBin}(k=3,\theta)$$y=12$

Ve böylece aşağıdaki olasılık fonksiyonlarını elde edeceğiz: ki bu, ve bu nedenle, Olabilirlik İlkesi , her iki olasılıktan da ilgili aynı çıkarımları almalıyız .

$$\begin{align} \ell_1(\theta;x=3)&=\binom{12}{3}\theta^3(1-\theta)^9\\ \ell_2(\theta;y=12)&=\binom{11}{2}\theta^3(1-\theta)^9\\ \end{align}$$ $$\ell_1(\theta;x)=C(x,y)\ell_2(\theta,y)$$ $\theta$

Şimdi, sık kullanılan paradigma paradigmasından aşağıdaki hipotezleri test etmeyi hayal edin

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

Binom modeli için aşağıdakilere sahibiz:

$$\begin{align} \text{p-value}&=P\left(X\leq 3|\theta=\frac{1}{2}\right)\\ &=\binom{12}{0}\left(\frac{1}{2}\right)^{12}+\binom{12}{1} \left(\frac{1}{2}\right)^{12}+ \binom{12}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{3}\left(\frac{1}{2}\right)^{12}=0.0723 \end{align}$$

Dikkat edin , ancak diğer terimler yapmak olasılık ilkesini karşılamıyor.$\binom{12}{3}\left(\frac{1}{2}\right)^{12}=\ell_1(\frac{1}{2};x=3)$

Negatif Binom modeli için aşağıdakilere sahibiz:

$$\begin{align} \text{p-value}&=P\left(Y\geq 12|\theta\frac{1}{2}\right)\\ &=\binom{11}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{2}\left(\frac{1}{2}\right)^{12}+ \binom{13}{2}\left(\frac{1}{2}\right)^{12}+...=0.0375 \end{align}$$

Yukarıdaki p-değer hesaplamalarından Binom modelinde ancak Negatif Binom modelini kullanarak reddedeceğimizi . Bu nedenle, orada p-değerleri vardır ve bu p-değerlerine dayanan kararları . Bu p değeri argümanı Bayesanlar tarafından Frequentist p değerlerinin kullanımına karşı sıklıkla kullanılan bir argümandır.$H_o$$H_o$$\ell_1(\theta;x)\propto\ell_2(\theta;y)$

Şimdi aşağıdaki hipotezleri tekrar test etmeyi düşünün, ancak Bayes paradigması paradigmasından

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

Binom modeli için aşağıdakilere sahibiz:

$$\begin{align} P\left(\theta\geq\frac{1}{2}|x\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

Benzer şekilde, Negatif Binom modeli için aşağıdakilere sahibiz:

$$\begin{align} P\left(\theta\geq\frac{1}{2}|y\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

Şimdi Bayesian karar kurallarını kullanarak, (veya başka bir eşik) varsa seçin ve için benzer şekilde tekrarlayın .$H_o$$P(\theta\geq\frac{1}{2}|x)>\frac{1}{2}$$y$

Ancak, ve böylece biz de varacağız Aynı sonuca ve dolayısıyla bu yaklaşım olasılığını Prensibi yerine getirir.$P\left(\theta\geq\frac{1}{2}|x\right)=P\left(\theta\geq\frac{1}{2}|y\right)$

---

Ve böylece, benim huzursuzluklarımı bitirmek için, olasılık ilkesini umursamıyorsan, o zaman sık olmak harika! (Söyleyemezseniz, ben Bayesiyim :))

Siz ve ben ikimiz de bilim insanıyız ve bilim insanları olarak başlıca kanıtlarla ilgileniyoruz. Bu nedenle, uygulanabilir olduğunda Bayesian yaklaşımlarının tercih edildiğini düşünüyorum.

Bayesci yaklaşımlar sorumuza cevap veriyor: Bir hipotez için kanıtın diğerine göre gücü nedir? Diğer taraftan, sık görüşme yaklaşımları şunları yapmaz: Sadece bir hipotez verildiğinde verinin tuhaf olup olmadığını bildirirler.

Bununla birlikte, dikkat çeken Bayesian Andrew Gelman, model spesifikasyonundaki hataları kontrol etmek için p-değerlerinin (veya p-değerine benzer grafik kontrollerin) kullanılmasını destekliyor gibi görünüyor. Bu blog yazısında bu yaklaşıma bir ima görebilirsiniz .

Anladığım kadarıyla yaklaşımı iki aşamalı bir süreç gibi bir şey: Birincisi, Bayesian sorusuna bir model için diğerinin kanıtının ne olduğunu soruyor. İkincisi, Frequentist sorusuna, tercih edilen modelin verilere bakıldığında tüm makul olanlara bakıp bakmadığı sorusunu sorar. Bana makul bir melez yaklaşım gibi görünüyor.

Şahsen ben sık sık cevabın bir Bayesçiye göre tercih edileceği bir durumu düşünmekte zorlanıyorum. Düşüncelerim burada ve fharrell.com'daki diğer blog yazılarında p-değerleri ve boş hipotez testi ile ilgili sorunlar hakkında ayrıntılı . Sık görüşmeler birkaç temel sorunu görmezden gelme eğilimindedir. İşte sadece bir örnek:

• Sabit varyanslı Gauss lineer modelinin dışında ve diğer birkaç durumda, hesaplanan p değerleri, veri kümeniz ve modeliniz için bilinmeyen doğruluktadır.
• Deney sıralı veya uyarlamalı olduğunda, genellikle bir p değerinin bile hesaplanamadığı ve biri yalnızca genel bir seviyesi ayarlayabileceği durumdur.$\alpha$
• Frekans uzmanları, tip I hatasının aşağı inmesine izin vermemekten mutlu görünüyorlar, örneğin, 0.05 şimdi ne olursa olsun, numune büyüklüğü büyüyor
• Çokluklu düzeltmelerin nasıl oluşturulduğuna dair sıkça bir reçete yoktur, bu da geçici bir yöntem çukurluğuna yol açmaktadır.

İlk noktaya gelince, yaygın olarak kullanılan bir model ikili lojistik modelidir. Günlük olasılığı çok karesel değildir ve bu tür modeller için hesaplanan güven sınırlarının ve p değerlerinin büyük çoğunluğu pek doğru değildir. Kesin çıkarım sağlayan Bayesian lojistik modeliyle karşılaştır.

Diğerleri, sıkça çıkarım kullanmanın bir nedeni olarak hata kontrolünden bahsetmiştir . Çünkü bu, mantıklı olduğunu düşünmüyorum hata onlar başvurmak için istatistiksel testler binlerce çalıştırmak edildiği bir süreç öngören uzun dönem hatadır. "Mahkememdeki uzun süredir mahkumiyet olasılığının sadece 0,03 olduğunu" söyleyen bir yargıç yasaklanmalıdır. Mevcut savunucu için doğru kararı verme olasılığının en yüksek olduğu suçlanıyor . Diğer yandan, bir eksi etkinin arka olasılığı sıfır veya geriye doğru etki olasılığıdır ve gerçekte ihtiyacımız olan hata olasılığıdır.

Birçok insan üçüncü bir felsefi okuldan haberdar görünmüyor: olabilirlik. AWF Edwards'ın kitabı, Olabilirlik, muhtemelen okuması gereken en iyi yer. İşte yazdığı kısa bir makale.
Olabilirlikçilik Bayesianizm gibi p-değerlerden kaçınırken, Bayesian'ın daha önce şüpheli olduğu da kaçınır. Burada da bir intro tedavisi var .

En büyüklerinden biri dezavantajları TrynnaDoStats yaptığı ilk noktada notları olarak binayı modellemek için frequentist yaklaşımların her zaman büyük kapalı form çözümler tersini ile ilgili zorluklar olmuştur. Kapalı form matris inversiyonu, tüm matrisin RAM'de saklanmasını, büyük miktarda veri içeren veya büyük kategorik özelliklere sahip tek CPU platformlarında önemli bir sınırlama olmasını gerektirir. Bayesian yöntemleri, önceden belirlenmiş bir rastgele çekilişi simüle ederek bu zorluğun üstesinden gelebildi. Bu her zaman Bayesian çözümlerinin en büyük satış noktalarından biri olmuştur, ancak cevaplar CPU'da sadece önemli bir maliyetle elde edilir.

Andrew Ainslie ve Ken Train, yaklaşık 10 yıl önceki bir makalede referansımı kaybettim, sonlu karışımları (sık veya kapalı formda) Bayesian yaklaşımlarını modelleme yaklaşımlarıyla karşılaştırdılar ve geniş bir yelpazedeki fonksiyonel formlar arasında buldular. ve performans ölçütleri, iki yöntem esasen eşdeğer sonuçlar verdi. Bayesian çözümlerinin bir kenarı olduğu veya daha fazla esnekliğe sahip olduğu yerlerde, bilginin hem seyrek hem de çok yüksek olduğu durumlarda vardı.

Bununla birlikte, bu makale, büyük ölçüde paralel platformlardan yararlanan “böl ve ele geçir” algoritmaları geliştirilmeden önce yazılmıştı, örneğin, bu http://dimacs.rutgers.edu/TechnicalReports/TechReports/2012/2012- 01.pdf

D&C yaklaşımlarının ortaya çıkışı, en zorlu, en geniş, en yüksek boyutlu problemler için bile, Bayesian yaklaşımlarının sık sık yöntemlere göre bir avantaja sahip olmadığı anlamına geliyordu. İki yöntem aynı düzeydedir.

Bu nispeten yeni gelişme, her iki yöntemin de pratik avantajları veya kısıtlamaları hakkındaki herhangi bir tartışmada dikkat çekmeye değer.

Sık yapılan testler, sıfır hipotezini tahrif etmeye odaklanır. Bununla birlikte, Boş Hipotez Önemlilik Testi (NHST) Bayes bakış açısıyla da yapılabilir, çünkü her durumda NHST sadece P'nin bir hesaplamasıdır (Gözlemlenen Etki | Etki = 0). Bu nedenle, NHST'yi sık sık bir perspektiften yürütmenin ne zaman gerekli olacağını belirlemek zordur.

Bununla birlikte, NHST'yi sık sık bir yaklaşım kullanarak yürütmek için en iyi argüman kolaylık ve erişilebilirliktir. İnsanlara sıkça istatistik öğretilir. Bu nedenle, sıkça çalışan bir NHST'yi çalıştırmak daha kolaydır, çünkü bunu yapmayı kolaylaştıran daha pek çok istatistiksel paket vardır. Benzer şekilde, sık kullanılan bir NHST'nin sonuçlarını iletmek daha kolaydır, çünkü insanlar bu NHST formuna aşinadırlar. Bu yüzden, sık yaklaşım yaklaşımları için en iyi argüman olarak görüyorum: Onları çalıştıracak istatistik programlarına erişebilirlik ve sonuçların iş arkadaşlarına iletişim kolaylığı. Bu sadece kültürel bir durum olsa da, bu yaklaşım, sıklıkla yaklaşımların hegemonyalarını yitirmesi durumunda değişebilir.

Birkaç yorum:

• Bayesci ve frekansçı istatistikçiler arasındaki temel fark, bayesyeninin, olasılık araçlarını, frekansçıların yapamayacağı durumlara yaymaya istekli olmasıdır.

  • Daha spesifik olarak, bayes, belirsizliği çeşitli parametreler üzerinde kendi zihninde modellemek için olasılık kullanmaya isteklidir . Sıklığa göre, bu parametreler skalerdir (istatistikçinin gerçek değeri bilmediği skaler olsa da). Bayesian için, çeşitli parametreler rasgele değişkenler olarak temsil edilir! Bu son derece farklı. Parametreler valeus üzerinde Bayes en belirsizlik bir temsil edilir öncesinde .

• Bayesci istatistiklerinde, umut, verileri gözlemledikten sonra, posterior öncekinin önemsememesidir. Ancak bu genellikle durum böyle değildir: sonuçlar önceliğin seçimine duyarlı olabilir! Farklı önceliğe sahip farklı Bayezyenlerin posterior üzerinde anlaşması gerekmez.

Akılda tutulması gereken en önemli nokta, frekansçı istatistikçilerin ifadelerinin, önceki iki inançlarına bakılmaksızın, iki Bayesan'ın hemfikir olabileceği ifadeleri olduğudur!

Frekansçı, öncelikler veya posterler üzerine yorum yapmaz, sadece olabilir.

Sıkcı istatistikçilerin ifadeleri bir anlamda daha az iddialıdır, ancak Bayesyan'ın daha sert ifadeleri, bir önceliğin atanmasına büyük ölçüde güvenebilir. Önceliklerin önem taşıdığı ve öncelikler konusunda anlaşmazlıkların olduğu durumlarda, daha sınırlı, koşullu sık sık istatistik ifadeleri daha sert bir şekilde durabilir.

Çok fazla araştırmanın amacı nihai bir sonuca ulaşmak değil, yalnızca topluluğun bir soru sorusunu bir yönde ilerletmek için giderek daha fazla kanıt elde etmektir .

İhtiyacınız olan şey, eldeki kanıtlar ışığında bir kararı veya sonucu değerlendirmek olduğunda Bayesian istatistikleri vazgeçilmezdir. Bayesian istatistikleri olmadan kalite kontrolü mümkün olmazdı. Bazı verileri almanız ve bunun üzerinde hareket etmeniz gereken her türlü prosedür (robotik, makine öğrenmesi, iş karar vermesi) Bayesian istatistiklerinden yararlanır.

Ancak birçok araştırmacı bunu yapmıyor. Bazı denemeler yapıyorlar, bazı veriler toplıyorlar ve sonra “Veriler bu noktaya işaret ediyor” diyorlar , başkalarının şimdiye kadar topladıkları tüm kanıtlara verilen en iyi sonuç olup olmadığı konusunda çok fazla endişelenmeden . Bilim yavaş bir süreç olabilir ve "Bu modelin doğru olma olasılığı% 72!" genellikle erken veya gereksizdir.

Bu, basit bir matematiksel yolla da uygundur, çünkü sık kullanılan istatistikler çoğu zaman matematiksel olarak bir Bayesian istatistiğinin güncelleme adımıyla aynıdır. Başka bir deyişle, Bayesian istatistikleri (Önceki Model, Kanıt) → Yeni Model iken, sıkça istatistik yalnızca Kanıttır ve diğer iki bölümü doldurmak için başkalarına bırakır.

Bir Bayesian yönteminin gerçek uygulaması bir Frequentist'ten daha tekniktir. "Daha teknik" derken, şöyle bir şey demek istiyorum: 1) öncelikleri seçmek, 2) modelinizi bir BUGS / JAGS / STAN'da programlamak ve 3) örnekleme ve yakınsama hakkında düşünmek.

Açıkçası, # 1, Bayesian tanımı gereği pek isteğe bağlı değildir. Her ne kadar bazı problemler ve prosedürler olsa da, sorunu kullanıcıdan bir şekilde gizleyen makul varsayılanlar olabilir. (Buna rağmen sorunlara da neden olabilir!)

# 2'nin sorun olup olmadığı, kullandığınız yazılıma bağlıdır. Bayesian istatistikleri, sık kullanılan istatistiksel yöntemlerden daha genel çözümlere yönelmiştir ve BUGS, JAGS ve STAN gibi araçlar bunun doğal bir ifadesidir. Bununla birlikte, tipik yazılım prosedürlerinde olduğu gibi görünen çeşitli yazılım paketlerinde Bayesian işlevleri vardır, bu nedenle bu her zaman bir sorun değildir. (Ve R paketleri gibi yeni çözümler rstanarmve brmsbu boşluğu dolduruyor.) Yine de, bu araçları kullanmak yeni bir dilde programlamaya çok benzer.

Madde 3, genellikle gerçek dünyadaki Bayesian uygulamalarının çoğu MCMC örneklemesini kullanacağı için uygulanabilir. (Öte yandan, sık kullanılan MLE tabanlı prosedürler, yerel bir minimaya yaklaşabilen veya hiç birleşmeyen optimizasyon kullanıyor ve bunu kaç kullanıcının kontrol etmeli ve etmemesi gerektiğini merak ediyorum?)

Bir yorumda dediğim gibi, önceliklerden özgürlüğün aslında bilimsel bir fayda olduğundan emin değilim. Kesinlikle birkaç şekilde ve yayın sürecinde birçok noktada uygun, ancak aslında daha iyi bir bilim için yapıldığından emin değilim. (Ve büyük resimde, bilim insanı olarak önceliklerimizin farkında olmamız gerekiyor, yoksa hangi istatistiksel yöntemleri kullandığımızdan bağımsız olarak, araştırmalarımızdaki her türlü önyargıdan muzdarip olacağız.)

Kavramsal olarak : Bilmiyorum. Bayesian istatistiklerinin düşünmenin en mantıklı yolu olduğuna inanıyorum, ancak nedenini haklı çıkarmayacağını düşünüyorum.

Sık görüşmenin avantajı, ilköğretim seviyesindeki çoğu insan için daha kolay olmasıdır. Ama benim için garipti. Bir güven aralığının ne olduğunu entelektüel olarak açıklığa kavuşturmam yıllar aldı. Fakat pratik durumlarla yüzleştiğimde, sık görüşlerin basit ve yüksek derecede alakalı olduğu ortaya çıktı.

ampirik

Bugünlerde odaklanmaya çalıştığım en önemli soru pratik verimlilik hakkında daha fazla: kişisel çalışma süresi, hassasiyet ve hesaplama hızı.

Kişisel çalışma süresi: Temel sorular için neredeyse hiç Bayesian yöntemlerini kullanmam: Temel frekans araçları kullanıyorum ve her zaman bana sadece bir baş ağrısı verebilecek bir Bayesian eşdeğeri üzerinde bir t-testi tercih edeceğim. Tictactoe'da kız arkadaşımdan daha iyi olup olmadığımı bilmek istediğimde, bir kare kare yapıyorum :-). Aslında, bir bilgisayar bilimcisi olarak yapılan ciddi çalışmalarda bile, sık temel araçlar, sorunları araştırmak ve rastgele sonuçlardan kaynaklanan yanlış sonuçlardan kaçınmak için paha biçilmezdir.

Kesinlik: Tahminin analizden daha önemli olduğu makine öğrenmesinde, Bayesian ile sık görüşme arasında mutlak bir sınır yoktur. MLE, sıkça yaklaşan bir yaklaşımdır: sadece bir tahminci. Ancak düzenli MLE (MAP) kısmen bir Bayesian yaklaşımıdır : posterior modunu buluyorsunuz ve posterior'un geri kalanını umursamıyorsunuz. Düzenlemenin neden kullanıldığına dair sıkça bir gerekçeyi bilmiyorum. Pratik olarak, düzenlileştirme bazen kaçınılmazdır, çünkü ham MLE tahmini, 0'ın daha iyi bir yordayıcı olacağı şekilde fazladan donatılmıştır. Düzenlemenin gerçekten bir Bayesian yöntemi olduğu kabul edilirse, bu tek başına Bayes'in daha az veri ile öğrenebileceğini doğrular.

Hesaplama hızı: sık kullanılan yöntemler en çok hesaplama açısından daha hızlı ve uygulaması daha kolaydır. Ve her nasılsa, düzenli hale getirme, onlara bir miktar Bayes tanıtmak için ucuz bir yol sağlar. Bunun nedeni, Bayesian yöntemlerinin hala olabilecekleri kadar optimize edilmemeleridir. Örneğin, bazı LDA uygulamaları günümüzde hızlıdır. Ancak çok sıkı çalışma gerektiriyorlardı. Entropi tahminleri için ilk ileri yöntemler Bayesian'dı. Çok iyi çalıştılar, ancak çok geçmeden sık kullanılan yöntemler keşfedildi ve çok daha az hesaplama zamanı aldı ... Bayesian iseniz, sık sık yöntemlerle Bayesian yöntemlerinin yaklaşımı olarak düşünmek saçma değildir.

Belirli bir Frequentist temelli yaklaşımın esasen herhangi bir Bayesyen'e egemen olduğu bir problem tipi , M-açık vakasında öngörü öngörüsüdür.

M-open ne anlama geliyor?

M-open, verileri üreten gerçek modelin, düşündüğümüz modellerde görünmediğini ima eder. Örneğin, asıl ortalaması bir işlevi olarak ikinci dereceden ise , ancak yalnızca ortalama doğrusal bir işlevi olan modelleri göz önüne alırsak, M-açık durumdayız. Başka bir deyişle, modelin yanlış tanımlanması M açık bir dava ile sonuçlanır.$y$$x$$x$

Çoğu durumda, bu Bayesian analizleri için büyük bir problemdir; Bildiğim hemen hemen tüm teori, modelin doğru bir şekilde tanımlanmasına dayanıyor. Elbette, kritik istatistikçiler olarak, modelimizin her zaman hatalı olduğunu düşünmeliyiz. Bu oldukça önemli bir konudur; Teorimizin çoğu, modelin doğru olmasına dayanıyor, ancak hiçbir zaman olmadığını biliyoruz. Temel olarak, modelimizin fazla yanlış olmadığını umarak parmaklarımızı çarpıştık .

Frequentist yöntemler neden bunu daha iyi ele alıyor?

Hepsi değil. Örneğin, standart hataları oluşturmak veya tahmin zamanları oluşturmak için standart MLE araçları kullanırsak, Bayesian yöntemlerini kullanmaktan daha iyi değiliz.

Ancak, tam olarak bu amaç için özel olarak amaçlanan belirli bir Frequentist aracı var: çapraz doğrulama. Burada, modelimizin yeni veriler üzerinde ne kadar iyi olacağını tahmin edebilmek için, modelin yerleştirilmesinde sadece verilerin bir kısmından ayrılıyoruz ve modelimizin görünmeyen verileri ne kadar iyi tahmin ettiğini ölçüyoruz.

Bu yöntemin, modelin spesifikasyonunu belirlemede tamamen kararsız olduğuna dikkat edin, yalnızca modelin "doğru" olup olmadığına bakılmaksızın, bir modelin yeni veriler üzerinde ne kadar iyi olacağını tahmin etmemiz için bir yöntem sağladığımızı unutmayın.

Ben bu gerçekten Bayes perspektiften haklı zor öngörü modellemesi yaklaşımını değiştirdi iddia etmek çok zor olduğunu sanmıyorum (önceki görmeden verilerine önce ön bilgileri temsil etmek gerekiyordu, olabilirlik fonksiyonu olan birine modeli, vs.) Sıkça bakış açısıyla haklılaştırmak çok kolaydır (tekrarlanan örneklemede örneklem hatalarından en iyi sonucu veren model + regülasyon parametrelerini seçtik).

Bu, öngörücü çıkarımın nasıl yapıldığına dair tamamen devrim yarattı. Herhangi bir istatistikçinin, uygun olduğunda çapraz doğrulama ile oluşturulmuş veya kontrol edilmemiş öngörücü bir modeli ciddiye alacağını (ya da en azından, gerekeceğini) sanmıyorum (örneğin, gözlemlerin bağımsız olduğunu, hesap vermeye çalışmayacağını düşünebiliriz. örnekleme önyargısı vb. için).