XKCD’nin Frequentists’i ve Bayesians çizgi romanının nesi yanlış?

Bu xkcd çizgi roman (Frequentists vs. Bayesians) , açıkça yanlış bir sonuç çıkaran sıkça istatistikçi ile dalga geçiyor .

Ancak bana göre, mantığının standart frekansçı metodolojiyi takip etmesi anlamında gerçekten doğru olduğu görülüyor.

Öyleyse benim sorum şu: "Frekansist metodolojiyi doğru şekilde uyguluyor mu?"

• Eğer hayırsa: bu senaryoda doğru, sıkça bir çıkarım ne olurdu? Sık kullanılan metodolojideki güneş stabilitesi hakkındaki "önceki bilgiler" nasıl birleştirilir?
• Varsa: wtf? ;-)

Asıl mesele, ilk denemenin (Sun nova) tekrarlanamamasıdır, bu da bir olayı ne kadar sıklıkla verdiğimizi tahmin edebileceğimizi tahmin eden olasılığı yorumlayan sıkça metodoloji için son derece uygun değildir. Buna karşılık, bayesyen olasılık, önceden var olan tüm bilgileri veren inanç derecemiz olarak yorumlanır, bunu bir kerelik olaylar hakkında sağduyulu mantık için uygun hale getirir. Zar atma deneyi tekrarlanabilir, ancak herhangi bir sıkıntının ilk denemenin etkisini kasıtlı olarak görmezden gelmesi ve elde edilen sonuçların önemi konusunda kendinden emin olması pek olası değildir.

Her ne kadar yazar, tekrarlanabilir denemelere ve önceklerine güvensizliklerine sık sık güveniyor olsa da, deneysel düzeneğin sıkcı metodolojiye uygunluğunu vermemesine rağmen, bu çizgi romanın gerçek temasının sıkıcı olmayan bir metodoloji değil, genel olarak uygun olmayan metodolojiyi kör ettiğini söyleyebilirim. Komik olup olmadığı size kalmış (benim için) ama iki yaklaşım arasındaki farkları açıklığa kavuşturmaktan daha yanıltıcı olduğunu düşünüyorum.

Frekanscı bit görebildiğim kadarıyla bu kadar makul:

Let güneş patlamamış olduğu hipotez olabilir ve H 1 sahip olduğu hipotezi olmak. Bu nedenle p değeri sonucu altında gözlemleme olasılığıdır ("evet" diyen makine) . Makinenin, nötrinoların bulunmadığını doğru bir şekilde tespit ettiğini varsayarsak, o zaman makine altında "evet" , bunun nedeni, makinenin bize iki altı yuvarlanmanın sonucu olarak bize . Bu yüzden p-değeri 1/36'dır, bu nedenle normal yarı-Fisher bilimsel uygulamasından sonra, bir sık ​​görüşmeci boş hipotezi % 95 anlamlılık düzeyinde reddeder .$H_0$$H_1$H $H_0$$H_0$

Ancak, boş hipotezi reddetmek, alternatif hipotezi kabul etme hakkınız olduğu anlamına gelmez, bu nedenle sık görüşmeci sonuçları analizle gerekçelendirilmez. Sık sık yapılan hipotez testleri, sahtekârlık fikrini (bir nevi) somutlaştırır, hiçbir şeyin doğru olduğunu ispatlayamazsınız, sadece ispat edemezsiniz. Öyleyse iddia etmek istiyorsan , doğru olduğunu kabul ve sadece tutarsız olduğunu gösterebilirsen devam et . Ancak bu, doğru olduğu anlamına gelmez , sadece testten kurtulduğu ve en azından bir sonraki teste kadar uygulanabilir bir hipotez olarak devam ettiği anlamına gelir .H 0 H 0 H $H_1$$H_0$$H_0$$H_1$

Bayesian aynı zamanda sadece sağduyudur, bahis yaparak kaybedecek bir şey olmadığını belirtmiştir. Yanlış-olumlu ve yanlış-olumsuz maliyetler hesaba katıldığında (Neyman-Peason?), Uzun vadeli kazanç açısından en iyi strateji olduğu sonucuna varacağına inanıyorum.

Özetlemek gerekirse: Hem frekans hem de Bayes dili burada özensizleşiyor: Uygun anlamlılık düzeyi, yanlış-pozitif / yanlış-negatif maliyetler veya problemin fiziğini göz önünde bulundurmadan bir tarifi takip etmek için sıklık . Bayesian, önceliklerini açıkça belirtmediği için özensiz davranıyor, ancak daha sonra sağduyu kullanarak kullandığı öncelikler açıkça doğru (makinenin güneşin patlamasıyla aslında yatması çok daha muhtemeldir), sloppiness belki de mazeretli.

Bu sonuç neden "yanlış" gibi görünüyor? Bayes, sonucun karşı sezgisel göründüğünü söyler çünkü güneşin ne zaman patlayacağına dair “önceden” inançlarımız vardır ve bu makinenin sağladığı kanıtlar bu inançları ortadan kaldırmak için yeterli değildir (çoğunlukla nedeniyle belirsizlik nedeniyle bozuk para çevirme). Ancak sık görüşmeci böyle bir değerlendirme yapabilir, inanç yerine veri bağlamında bunu yapması gerekir.

Paradoksun asıl kaynağı, yapılan sık istatistiksel istatistik testinin mevcut tüm verileri hesaba katmamasıdır. Çizgi romandaki analizde bir sorun yok, ancak sonuç garip görünüyor çünkü güneşin uzun süre patlamayacağını biliyoruz. Ama bunu nasıl biliyoruz? Çünkü güneş patlayacağı zaman sınırlayabilecek ölçümler, gözlemler ve simülasyonlar yaptık. Bu nedenle, tam bilgimiz bu ölçümleri ve veri noktalarını dikkate almalıdır.

Bir Bayesian analizinde, bu bir önceliği inşa etmek için bu ölçümleri kullanarak yapılır (bununla birlikte, ölçümleri önceliğe çevirme prosedürü iyi tanımlanmamıştır: bir noktada önce bir başlangıç ​​olmalı, ya da hepsi kaplumbağalarıdır). aşağı yolu "). Bu nedenle, Bayesian önceliğini kullandığında, gerçekten de frekans uzmanının p-değeri analizinin özel olmadığı birçok ek bilgiyi dikkate alıyor.

Bu nedenle, eşit temelde kalabilmek için, problemin sık ve tam bir analizi, önce bayesleri inşa etmek için kullanılan güneş patlamasıyla ilgili aynı ek verileri içermelidir. Ancak, bir öncü kullanmak yerine, bir sık ​​görüşmeci basitçe diğer ölçümleri birleştirmek için kullandığı olasılığını artıracak ve p-değeri bu tam olasılık kullanılarak hesaplanacaktı.

$L = L$$L$

Tam bir sıklıkta yapılan analiz, olasılığın ikinci bölümünün çok daha kısıtlayıcı olacağını ve p-değer hesaplamasında baskın katkı olacağını gösterir (çünkü güneş ve bu bilgilerdeki hatalar hakkında zengin bilgilerimiz vardır. küçüktür (umarım).

Pratik olarak sık sık bir hesaplama yapmak için son 500 yıldan elde edilen tüm veri noktalarının toplanıp toplanmasına gerek yoktur, bunlardan biri güneşin patlayıp patlamamasına ilişkin belirsizliği kodlayan basit bir olasılık olabilir. Bu daha sonra Bayesian'ın öncülüğüne benzeyecek, ancak felsefi olarak biraz farklı olacak çünkü bir olasılık, önceki bir ölçümü kodladığı anlamına geliyor (bir öncekinin aksine, bazı öncül inancı kodlayan). Bu yeni terim, olasılığın bir parçası olacak ve güvenilir aralıklar veya posterler oluşturmak üzere entegre edilmiş olan bayesyeninin tersine, güven aralıkları (veya p-değerleri veya her neyse) oluşturmak için kullanılacaktır.

$p$$t$$T$${\rm Prob}[T \ge t| H_0]$$T$$\chi^2$$p$$0, 1/36, 2/36, \ldots$

Tabii ki, bu "sık sık" yaklaşımı bilimsel değildir, çünkü sonuç pek çoğaltılamaz. Güneş süpernovaya girdiğinde süpernova olarak kalır, bu yüzden dedektör tekrar tekrar "Evet" demeye devam etmelidir. Bununla birlikte, bu makinenin tekrar tekrar çalıştırılmasının tekrar "Evet" sonucu vermesi muhtemel değildir. Bu, kendilerini titizlikle sunmak isteyen ve deneysel sonuçlarını yeniden üretmeye çalışan alanlarda tanınıyor ... ki, anladığım kadarıyla,% 5 (her yerde orijinal makalenin yayınlanması saf tip bir hataydı) ve Bazı tıbbi alanlarda% 30-40 civarında bir yerde. Meta-analiz milleti sizi daha iyi sayılarla doldurabilir, bu sadece zaman zaman istatistik gevreği boyunca rastladığım vızıltıdır.

"Uygun" sıklık perspektifinden bir diğer sorun, bir kalıbın yuvarlanmasının güç = anlamlılık seviyesine sahip en düşük güçlü test olmasıdır (düşük değilse;% 5 anlamlılık düzeyi için% 2.7 güç, bununla ilgili bir şey değildir). T-testleri için Neyman-Pearson teorisi bunun bir UMPT olduğunu göstermek için acı çekiyor ve bir çok yüksek kaş istatistiki teorisi (zorlukla anladığım kadarıyla kabul etmeliyim), güç eğrilerini türetmeye ve verilen zaman koşullarını bulmaya adamıştır. Test, verilen bir sınıftaki en güçlü sınavdır. (Kredi: @Dikran Marsupial yorumlardan birinde iktidar konusunu dile getirdi.)

Bunun sizi sıkıntıya sokup sokmadığını bilmiyorum ama Bayesci istatistikçisi burada matematik bilmeyen ve kumar sorunu olan biri olarak gösteriliyor. Düzgün bir Bayesian istatistikçisi önceliği düşünür, nesnellik derecesini tartışır, postereri çıkarır ve verilerden ne kadar öğrendiklerini gösterirdi. Bunların hiçbiri yapılmadı, bu yüzden Bayesçi süreci en sık olduğu kadarıyla basitleştirildi.

Bu durum, kanser konusuna yönelik klasik taramanın bir göstergesidir (ve biyoistatistlerin bunu benden daha iyi tanımlayabildiğinden eminim). Kusurlu bir enstrüman ile nadir bir hastalığın taranması sırasında, pozitiflerin çoğu yanlış pozitif olarak ortaya çıkmaktadır. Akıllı istatistikçiler daha pahalı ve daha doğru biyopsilerle ucuz ve kirli tarayıcıları takip etmeyi daha iyi bilirler.

Bu çizgi romanda yanlış olan bir şey yok ve sebebin istatistikle ilgisi yok. Bu ekonomi. Eğer frekansçı doğruysa, Dünya 48 saat içinde yaşanamaz bir yer olacak. 50 doların değeri etkin bir şekilde boş olacaktır. Bunu tanıyan Bayesian, normal durumda yararının 50 $ olduğunu ve marjinal olarak güneş patlaması durumunda hiçbir şey olmadığını bilerek bahsi yapabilir .

Artık CERN, nötrinoların ışıktan daha hızlı olmadığına karar vermiştir - elektromanyetik radyasyon şoku, nötrino değişikliği fark edilmeden önce dünyaya çarpacaktır. Bu en azından (çok kısa vadede) muhteşem auroral etkilere sahip olacaktır. Böylece karanlık olması gökyüzünün aydınlatılmasını engellemez; ay aşırı derecede parlıyordu (bkz. Larry Niven'in "Tutarsız Ayı") ve yapay uydular gibi görkemli flaşlar buharlaştı ve kendiliğinden yandı.

Sonuçta - belki de yanlış test? (Ve daha önce olmuş olsa da - posteriorun gerçekçi bir şekilde belirlenmesi için yeterli zaman olmazdı.

@GeorgeLewis ile Frequentist yaklaşımın yanlış olduğu sonucuna varmak için erken olabileceğine katılıyorum - daha fazla veri toplamak için nötrino detektörünü birkaç kez daha deneyelim. Öncelikle uğraşmana gerek yok.

Buradaki tüm ayrıntılı cevaplar arasında kaybedilebilecek daha basit bir nokta, frekanserin tek bir örneğe dayanarak kararını vermesidir. Uygulamada bunu asla yapmazsınız.

Geçerli bir sonuca ulaşmak, istatistiksel olarak anlamlı bir örneklem büyüklüğü gerektirir (veya başka bir deyişle, bilimin tekrarlanabilir olması gerekir). Bu nedenle pratikte frekans uzmanı, makineyi birçok kez çalıştıracak ve daha sonra elde edilen veriler hakkında bir sonuca varacaktı.

Muhtemelen bu, makineye aynı soruyu birkaç kez daha sormayı gerektirir. Muhtemelen makine sadece yanlış ise her 36 kereden 1'i net bir şekilde ortaya çıkacaktır. Ve bu düzenden (tek bir okumadan ziyade tek bir okumadan), frekans uzmanı güneşin patlayıp patlamamasına ilişkin (oldukça doğru, söyleyebilirim) bir sonuç çıkartacaktır.

Sorunuzun cevabı: "Frekansist metodolojiyi doğru şekilde uyguluyor mu?" hayır, kesinlikle sıkça yaklaşan bir yaklaşım uygulamıyor. Bu problemin p değeri tam olarak 1/36 değil.

İlk önce, söz konusu hipotezlerin

H0: Güneş patlamamış,

H1: Güneş patladı.

Sonra,

p-value = P ("makine evet döner" | | Güneş patlamamıştır).

Bu olasılığı hesaplamak için, "makine evet döndürür" ifadesinin "nötrino detektörünün Güneş patlamasını ölçer ve doğru sonucu söyler VEYA nötrino detektörü Güneş patlaması ve bize yalan söylemez" e eşdeğer olduğunu not etmeliyiz.

Zar atmanın nötrino dedektör ölçümünden bağımsız olduğu varsayılarak, p-değerini şu şekilde hesaplayabiliriz:

p0 = P ("nötrino dedektörü Güneş patlayanı ölçer" | Güneş patlamamıştır),

Sonra, p değeri

p-değeri = p0 x 35/36 + (1-p0) x 1/36 = (1/36) x (1+ 34 x p0).

Bu problem için, p değeri 1/36 ile 35/36 arasında bir sayıdır. P değeri 1/36 eşittir ve sadece p0 = 0 ise. Yani, bu çizgi filmdeki gizli bir varsayım, Güneş patlamazsa, dedektör makinesinin Güneş patlamasını asla ölçmeyeceğidir.

Ayrıca, devam eden bir anova patlamasının dış delilleri hakkında daha fazla bilgi verilmelidir.

Herşey gönlünce olsun.

Frekansçı yaklaşımında herhangi bir sorun görmüyorum. Boş hipotez reddedilirse, p-değeri tip 1 hatanın olasılığıdır. Bir tip 1 hatası gerçek bir boş hipotezi reddediyor. Bu durumda 0,028'lik bir p değerine sahibiz. Bu, şimdiye kadar yapılan bu p-değeri ile yapılan tüm hipotez testlerinde kabaca yüzün 3'ünün gerçek bir boş hipotezi reddedeceği anlamına gelir. Yapım gereği bu durumlardan biri olurdu. Sıklık yapanlar bazen gerçek boş hipotezi reddedeceklerini veya sahte boş hipotezini (Tip 2 hataları) koruyacaklarını, başka türlü iddia etmediklerini kabul ederler. Ayrıca, uzun vadede hatalı çıkarımlarının sıklığını kesin olarak ölçmektedirler.

Belki de bu sonuca daha az kafa karıştırıcı bir şekilde bakmak hipotezlerin rollerini değiştirmektir. İki hipotez basit olduğu için bunu yapmak kolaydır. Boş değer, güneşin nova gittiğini gösteriyorsa, p değeri 35/36 = 0,972 olur. Bu, güneşin novaya gittiği hipotezine karşı kanıt olmadığı anlamına gelir, bu nedenle bu sonucu temel alarak reddedemeyiz. Bu daha makul görünüyor. Eğer düşünüyorsan. Neden birileri güneşin Nova'ya gittiğini varsayar ki? Sana rica ediyorum Güneş patlaması düşüncesi çok saçma görünüyorsa, neden kimse böyle bir deney yapsın ki?

Sanırım bu sadece bir deneyin önceden faydalı olduğunu değerlendirmek zorunda olduğunu gösteriyor. Örneğin, bu deney tamamen işe yaramaz, çünkü zaten gökyüzüne bakmaktan zaten bildiğimiz bir şeyi test ediyor (ki bu kesinlikle etkili bir şekilde sıfır olan bir p değeri üretir). İyi bir deneme tasarlamak iyi bilim üretmek için bir gerekliliktir. Denemeniz zayıf bir şekilde tasarlanmışsa, hangi istatistiksel çıkarım aracını kullanırsanız kullanın, sonuçlarınızın faydalı olma olasılığı yoktur.

Sık kullanılan metodolojideki güneş stabilitesi hakkındaki "önceki bilgiler" nasıl birleştirilir?

Çok ilginç bir konu.

İşte sadece bazı düşünceler, mükemmel bir analiz değil ...

Bayesian yaklaşımının bilgi vermeyen bir önceyle kullanılması, tipik olarak frekansçı ile karşılaştırılabilir istatistiksel bir çıkarım sağlar.

Bayesian neden güneşin patlayamadığına dair güçlü bir inanca sahip? Çünkü herkesin, güneşin başlangıcından beri hiç patlamadığını biliyor.

Konjugatlı bazı basit istatistiksel modellerde, bir önceki dağılımın kullanılmasının, şişirici olmayan bir önceki ve ön denemelerden türetilen posterior dağılımın kullanılmasıyla eşdeğer olduğunu görmekteyiz.

Yukarıdaki cümle, Frequentist'in, modeline ön deneylerin sonuçlarını dahil ederek Bayesian olarak sonuçlandırması gerektiğini ileri sürer. Ve Bayesçanın gerçekte yaptığı şey bu : önceliği ön deneyler konusundaki bilgisinden geliyor!

$N$$x_i$$i$$x_i$$\theta$$x_i$$x_i=1$$i =1,\ldots,N$

$N+1$$x_i$$y=\{\text{Yes}\}$$\Pr(x_{N+1}=0)$$\theta$$\theta$$x_1, \ldots, x_N$$y$$1$$N$$y=\{\text{Yes}\}$$\theta$$\theta$

$H_0 =\{\text{the sun has not exploded}\}$

Bu elbette sıkça yapılan bir 0.05 seviye testtir - sıfır hipotezi, sıfır hipotezi altında zamanın% 5'inden daha az reddedilir ve alternatifin altındaki güç bile harikadır.

Öte yandan, önceki bilgiler bize belirli bir zamanda süpernovaya giden güneşin pek olası olmadığını, ancak şans eseri yalan söylemenin daha muhtemel olduğunu söylemektedir.

Alt satır: çizgi roman ile ilgili gerçekten yanlış bir şey yok ve uygunsuz hipotezleri test etmenin yanlış bir keşif oranının yüksek olduğunu gösteriyor. Ek olarak, muhtemelen teklif edilen bahislerin değerlendirmesinde dikkate almak için önceden bilgi almak istersiniz - bu yüzden bir Bayesian posterior karar analizi ile birlikte bu kadar popüler.

Benim görüşüme göre, daha doğru bir frekans analizi şu şekilde olacaktır: H0: Güneş patladı ve makine doğruyu söylüyor. H1: Güneş patlamamış ve makine yalan söylüyor.

Buradaki p değeri = P'dir (güneş patladı). p (makine doğru söylüyor) = 0.97. P (güneş patladı)

İstatistikçi, ikinci olasılığın doğasını bilmeden hiçbir şey yapamaz.

P'nin (güneş patladığını) 0 olduğunu bilmemize rağmen, güneş benzeri yıldızlar süpernovaya patlamaz.