Xkcd jelly bean comic'i açıklayın: Ne komik kılan nedir?

Yaptıkları yirmi toplam testten bir kez, olduğunu görüyorum , bu yüzden yanlış yirmi testten birinde sonucun anlamlı olduğunu varsayıyorlar ( ).0.05 = 1 /$p < 0.05$$0.05 = 1/20$

xkcd jelly bean comic - "Önemli"

• Başlık: Önemli
• Gezinme metni: "'Evet, yeşil çalışmayı tekrar yaptık ve bağlantımız olmadı. Muhtemelen bir--' 'YEŞİL YAKA / AKNE BAĞLANTISI ARAŞTIRMASI; DAHA FAZLA ÇALIŞMA TAVSİYE EDİLDİ!"

Mizah çok kişisel bir şeydir - bazı insanlar bunu eğlenceli bulacaktır, ancak herkes için komik olmayabilir - ve temel noktayı açıklasalar bile, komik olanı sık sık neyin komikleştirmeyeceğini açıklamaya çalışır. Gerçekten de, tüm xkcd'lerin aslında komik olmaları amaçlanmamıştır. Ancak birçoğu, düşündürücü bir şekilde önemli noktalar yapar ve en azından bazen bunu yaparken eğlencelidirler. (Ben kısmen bir şüpheli, hatta şüpheli sonuç (bir medya sirki haline döndüğünü şekilde tanınması olduğunu düşünüyorum. Ben şahsen çok komik, ama sert açıkça tam olarak bana komik kılan, açıklamaya bulmak hangi ayrıca bakınız bu doktora çizgi romanı ) ve belki de kısmen bilinçli olarak bazı araştırmaların yapılabileceği şeklinin tanınması - genellikle bilinçli değilse.)

Bununla birlikte, komik kemiğin gıdıklanıp gıdıklanmadığı da anlaşılabilir.

Mesele şu ki,% 5 gibi orta derecede anlamlılık düzeyinde çoklu hipotez testleri yapmak ve ardından önemli olanı açıklamak. Tabii ki, devam eden hiçbir önemi olmayan böyle bir test yaparsanız, önemli bir sonuç vermesi beklenen testlerin sayısı 1'dir. testi için anlamlılık düzeyinde kaba kafaya bir yaklaşım yapmak , kabaca% 37 önemli bir sonuç yok, kabaca% 37 bir şans ve kabaca% 26 birden fazla şans (sadece kesin cevapları kontrol ettim; yeterince yakınlar).$n$$\frac{1}{n}$

Çizgi romanda, Randall 20 test resmediyordu, bu yüzden onun hiçbir şüphe yok ki (hiçbir şey olmadığında bile önemli bir puan almayı umuyorsun). Kurgusal gazete makalesi, “Sadece% 5 tesadüf şansı!” Alt başlığı ile ilgili sorunu bile vurguluyor. (Gazetelerde yapılan testlerden biri yapılan tek sınavsa, durum böyle olabilir.)

Tabii ki, aynı zamanda bireysel bir araştırmacının çok daha makul bir şekilde davranabileceği daha ince bir mesele var, ancak yanlış pozitiflerin çok yaygın şekilde duyurulması sorunu hala ortaya çıkıyor. Diyelim ki bu araştırmacılar, her biri% 1 düzeyinde yalnızca 5 test yaptıklarını, bu nedenle de böyle sahte bir sonuç bulma şanslarının yalnızca yüzde beş olduğunu söyleyelim.

Çok uzak çok iyi. Ama şimdi, 20 test grubu olduğunu hayal edin, her testin hangi rasgele renk alt grubunu denemek için bir nedenleri olduğunu düşündüklerini test edin. Veya 100 araştırma grubu ... şu anda çizgi romandaki gibi bir manşetin şansı ne?

Bu yüzden daha geniş olarak, çizgi roman yayın önyargısına daha genel atıfta bulunabilir. Eğer sadece önemli sonuçlar tiksileşirse, sadece yeşil salatalık için hiçbir şey bulamayan onlarca grup hakkında bir şey duymayacağız.

Gerçekten de, son birkaç aydır haberde yer alan bu makalede yazılan en önemli noktalardan biri bu ( örneğin , bir 2005 makalesi olsa bile).

Bir o yazıya tepki çoğaltma ihtiyacını vurgular. Yayımlanan çalışmanın birkaç tekrarı olsaydı, "Akne ile bağlantılı yeşil jellybeans" sonucunun dayanma ihtimalinin çok düşük olacağını unutmayın.

(Ve aslında, çizgi romanın üzerine gelinen metni aynı noktaya zekice bir referans yapar.)

Hipotez testinin yayınlanma kararı üzerindeki etkisi, elli yıldan fazla bir süre önce 1959 JASA raporunun Yayın Kararları ve Bunların Önem Testlerinden Çekilmiş Çıkarımlar Üzerindeki Muhtemel Etkileri - (ve bunun tersine, Duvar Kağıdı için) açıklanmıştır.

Makaleye Genel Bakış Bu makale, bilimsel makalelerin yayınlanmış sonuçlarının tüm çalışmalardan elde edilen sonuçların temsili bir örneği olmadığını gösteren kanıtlara işaret etmektedir. Yazar dört ana psikoloji dergisinde yayınlanan makaleleri gözden geçirdi. İncelenen makalelerin% 97'si ana bilimsel hipotezleri için istatistiksel olarak anlamlı sonuçlar bildirmiştir.

Yazar bu gözlem için olası bir açıklamayı ilerletir: Önemli olmayan sonuçlar veren araştırmaların yayınlanmadığı. Diğer araştırmacılar tarafından bilinmeyen bu tür bir araştırma, nihayetinde önemli bir sonuç (Tip 1 bir hata) oluşup tesadüfen yayınlanıncaya kadar bağımsız olarak tekrarlanabilir. Bu, yayınlanan bilimsel literatürün, istatistiksel anlamlılık testlerinde Tip 1 hatalarından kaynaklanan yanlış sonuçların aşırı temsilini içerme olasılığının kapısını açıyor - tam olarak orijinal XKCD çizgi romanının eğlenceli hale getirdiği senaryo.

Bu genel gözlem daha sonra doğrulandı ve araya giren yıllarda birkaç kez keşfedildi. 1959 JASA makalesinin hipotezi ilerleten ilk kişi olduğuna inanıyorum. Bu yazının yazarı doktora danışmanımdı. 1959 tarihli makalesini 35 yıl sonra güncelledik ve aynı sonuca vardık. Yayın Kararlarının Yeniden Gözden Geçirilmesi: İstatistiksel Testlerin Sonuçlarının Yayımlanma ve Yayınlanma Kararına Etkisi. Amerikan İstatistiği, Cilt 49, Sayı 1, Şubat 1995

İnsanların gözardı ettiği şey, yeşil jöle çekirdeği kasası için gerçek p değerinin .05 değil .64 civarında olmasıdır. Sadece pretend (nominal) p değeri 0,05'tir. Gerçek ve pretend p değerleri arasında bir fark var. Tüm boş değerler doğru olsa bile nominal seviyeye ulaşan 20'de 1 bulma olasılığı DEĞİL .05 değil, .64'tür. Öte yandan, karşılaştırmalı olasılıklara bakarak kanıtları değerlendirirseniz - hata istatistiğinin (p-değerlerinin içinde bulunduğu) yanı sıra en popüler görüşü H: yeşil jöle fasulyesinin akne ile gerçekten ilişkili olduğunu söyleyeceksiniz. Bunun nedeni P (x; etkisiz) <P (x; H). Sol taraf <0,05, sağ taraf oldukça yüksek: yeşil jöle fasulyesi akneye neden olmuşsa, gözlemlenen ilişkinin bulunması olası olacaktır. Olasılıklar tek başına hata olasılıklarını yakalayamıyor, çünkü elde edilen gerçek verileri şartlandırıyorlar. Değerlemede, yeşil jöle fasulyesi ve sivilcenin bu testinden sadece biri olsaydı, hiçbir fark yoktur. Her ne kadar bu çizgi film genellikle p değerleriyle dalga geçiyor gibi görünse de, komik olan şey, neden hata olasılığını göz önünde bulundurmamız gerektiğini (sadece pretend olmayan p değerlerinde olduğu gibi) göz önüne almamız gerektiğini gösteriyor. Bayesian çıkarımı, sonuçta göz ardı edilerek hata olasılığını göz ardı eder. H için bir kanıt bulmaktan kaçınmanın tek yolu, bir Bayesçinin H'de daha düşük olması olacaktır. Ancak, kullanılan avlanma prosedürü nedeniyle, konunun ne olduğu ne olursa olsun ve önceliklere dayanmadan p-değerini ayarlayacağız. Test edilecek hipotezi bulmak. Avlanan H inanılırsa bile, Hala kötü bir test. Errorstatistics.com