Gözlemlenen verilerle eşleşecek bir hipotezi değiştirmek (aka balıkçılık gezisi) ve Tip I hatalarında bir artıştan kaçınmak mümkün mü?


32

Araştırmacıların, bir hipotez oluşturmadan önce mevcut verileri ve araştırmayı gözlemlemek ve araştırmak için zaman harcaması ve daha sonra bu hipotezi test etmek için veri toplaması gerektiği bilinmektedir (sıfır-hipotez önem testine atıfta bulunularak). Pek çok temel istatistik kitabı, hipotezlerin bir öncül oluşturulması gerektiği ve veri toplamadan sonra değiştirilemeyecekleri, aksi takdirde metodolojinin geçersiz hale geldiği konusunda uyarmaktadır .

Bir nedeni gözlenen veri sığdırmak için bir hipotez değişen sorunlu olduğunu anlıyoruz çünkü nedeniyle sahte verilere bir tip I hata işlemekten daha büyük şans olduğunu, ancak sorum şu: olduğuna tek gidiş ile diğer temel sorunlar var veya bu nedenle bir balık avı gezisinde mi?

Bonus bir soru olarak, potansiyel tuzaklara maruz kalmadan balık avı gezilerine devam etmenin yolları var mı? Örneğin, yeterli veriye sahipseniz, verilerin yarısından hipotezler üretip diğer yarısını bunları test etmek için kullanabilir misiniz?

güncelleştirme

Soruma ilgi duyduğum için teşekkür ederim, ancak cevaplar ve yorumlar çoğunlukla temel bilgiler olarak kurduğum şeye odaklandı. Orada olup olmadığını bilmek ilgileniyorum diğer nedenleri sahte sonuçların yüksek olasılığı ötesinde 's kötü ve böyle bölme verileri gibi yollar, bir hipotez değişen, ilk varsa post hoc ama Tip I hatalar artışı kaçınarak.

Başlığımı, sorumun iticiliğini yansıtacak şekilde güncelleştirdim.

Teşekkürler ve karışıklık için özür dilerim!



1
Daha önce söylenenler hakkında başka bir bakış açısına sahip olmak: Bilimsel yöntemin özü, hipotezler yapmak ve sonra teoriler haline gelebilmeleri için (tahrifat başarısız olursa) onları tahrif etmeye çalışmaktır. Balık avı gezisine çıkmak, daha sonraki bir denemede yanıltmaya değer hipotezler bulmak için geçerli bir yoldur, ancak bir seferde hiçbir hipotezi sahtekârlaştırmaya çalışamazsınız. Özellikle, hipotezinizi ayarlamaya açıksanız, artık onu tahrif etmeye çalışmıyorsunuz. Bunun yerine, ayarladığınızda, ayarlanamayan hipotezinizi tahrif ediyor ve yeni bir hipotez oluşturuyorsunuz.
Wrzlprmft

@jona, bu harika bir makale. Hem Ioannidis hem de Schooler tarafından yazılmış makaleleri okudum, ancak Simmons ve arkadaşları problemi harika bir şekilde gösteriyor.
-hoc sonrası

1
Bu makaleyi sorunuzla ilgili bulabilecek misiniz diye merak ediyorum: stat.columbia.edu/~gelman/research/published/multiple2f.pdf . Tam olarak aynı konuda değil, ancak bir yönünü ele alıyor.
a11msp

1
Veriler, hipotezinizi değiştirmenize neden olabilir ... ancak bu durumda, yeni hipotezi onaylamak için sıfırdan yeni veriler toplamaya başlamanız gerekir.
keshlam

Yanıtlar:


54

Kesinlikle bir balıkçılık gezisi olduğunu kabul ettiğiniz ve böyle davrandığınız sürece, balıkçılık gezilerine devam edebilirsiniz . Bunun için daha güzel bir isim “keşifsel veri analizi”.

Daha iyi bir benzetme bir hedefe ateş ediyor olabilir:

Bir hedefe ateş edebilir ve boğa gözüne çarptığınızda kutlayabilirsiniz.

Silahınızın özelliklerini test etmek için hedef olmadan çekim yapabilirsiniz.

Ama bir duvara ateş etmek ve sonra kurşun deliğinin etrafındaki hedefi boyamak hile yapmak.

Bununla ilgili bazı sorunlardan kaçınmanın bir yolu, araştırmayı bir eğitim veri setinde yapmak ve ardından ayrı bir "test" veri setinde test etmektir.


13
Peter'ın cevabını geliştirmek zor. Çok fazla veri taramasındaki talihsiz sorun, yazarların hipotezlerin tam olarak önceden tanımlanmadığını, yani “keşif” terimini kullanmadıklarını kabul etmemesidir. Pek çok araştırmacı, yayınlanabilir bir makale almak için veri taramaktadır ve onaylama girişimlerini takip etmemekte (çoğu zaman onları hayal kırıklığına uğratmaktadır).
Frank Harrell

2
Frank Harrell'in yorumunu bir adım öteye götürmek: bazı verileri araştırmak ve ilginç bir bulgu yayınlamak meşru, çoğaltılmış / onaylanmaya tabi, ilgi çekici, keşif edici bir bulgu olarak. Dezavantajı şudur: eğer bir başkası bulgularınızı onaylarsa, zaferi de kazanabilir ve diğerleri sonuçlarınızı onaylamazsa, sahte bir korelasyonla kandırılırsınız. Eğer büyük bir ego varsa, kötü. Bahsetmiyorum bile, birçok alandaki uygulayıcıların yapamayacağı, verilerinizi ve prosedürlerinizi halka açık hale getirmeniz gerekir. Ve devam etmek yerine yeni verilerle takip etmelisiniz.
Wayne

11
+1But it's cheating to shoot at a wall and then paint a target around the bullet hole.
WernerCD

3
@ post-hoc iyi, olmamalıdır kaşları yükseltmek, ama olabilir. Kaşları kimin altında olduğuna bağlı!
Peter Flom - Eski Monica

2
Texas Sharpshooter Fallacy ..
SMCI

25

Balık avlama gezileri ile ilgili sorun şudur: Yeterince hipotez test ederseniz, bunlardan biri düşük bir p değeri ile doğrulanacaktır. Somut bir örnek vereyim.

Epidemiyolojik bir çalışma yaptığınızı düşünün. Nadir görülen bir rahatsızlıktan muzdarip 1000 hasta buldunuz. Onların ortak noktalarını bilmek istersiniz. Böylece test etmeye başlarsınız - bu örnekte belirli bir özelliğin fazla temsil edilip edilmediğini görmek istersiniz. Başlangıçta cinsiyet, ırk, ilgili aile öyküsünü (babam 50 yaşından önce kalp hastalığından öldü,…) test ediyorsun ama sonunda, "yapışacak" bir şey bulmakta zorlanıyorsanız, diğer tüm faktörleri eklemeye başlarsınız. hastalık ile ilgili olabilir :

  • vejeteryan
  • Kanada'ya gitti
  • bitmiş kolej
  • evli
  • Çocuk sahibi
  • kedileri var
  • köpekleri var
  • haftada en az 5 bardak kırmızı şarap içer

Şimdi burada bir şey var. Yeterince "rastgele" hipotez seçersem, bunlardan en az birinin p değerinin 0,05'ten daha düşük olmasına neden olacağı muhtemel olmaya başlar - çünkü p değerinin özü "orada olduğunda boş hipotezi reddetmede yanlış olma olasılığıdır" etkisi yok ". Başka bir deyişle - ortalama olarak, test ettiğiniz her 20 sahte hipotez için bunlardan biri size <0,05 p verir .

Bu çok iyi SO XKCD karikatür http://xkcd.com/882/ içinde özetlenmiştir :

görüntü tanımını buraya girin

Buradaki trajedi, bireysel bir yazarın önemini araştırmak için bir örnek üzerinde 20 farklı hipotez testi yapmasa bile, aynı şeyi yapan diğer 19 yazar olabilir; ve şimdi bir korelasyon "bulan", şimdi yazması için ilginç bir makaleye sahiptir ve yayınlanması için kabul edilmesi muhtemel olan…

Bu, tekrarlanamayan bulgular için talihsiz bir eğilime yol açar. Bireysel yazar olarak buna karşı korunmanın en iyi yolu çıtayı daha yükseğe ayarlamaktır. Bireysel faktör için test yapmak yerine, kendinize "N hipotezini test edersem, en az bir yanlış pozitif ortaya çıkma olasılığı nedir" diye sorun. “Balıkçılık hipotezlerini” gerçekten test ederken, buna karşı korunmak için Bonferroni düzeltmesi yapmayı düşünebilirsiniz - ama insanlar sık ​​sık yapmazlar.

Ioannides'in Atlantik Aylığı'nda özellikle bu konuda özel olarak yazılmış bazı ilginç yazıları vardı .

Ayrıca, bu daha önceki soruya birkaç anlayışlı cevapla bakınız.

Sorunuzun tüm yönlerine daha iyi yanıt vermek için güncelleyin :

Eğer "balıkçılık" olabilir, ancak hangi hipotezi formüle edeceğinizi gerçekten bilmiyorsanız, kesinlikle verilerinizi "keşif", "çoğaltma" ve "onaylama" bölümlerine bölebilirsiniz. Prensip olarak, bu daha önce belirtilen risklere maruz kalmanızı sınırlandırmalıdır: keşif verilerinde ap değeri 0.05 ise ve çoğaltma ve onay verilerinde benzer bir değer elde ederseniz, yanlış düşme riskiniz. British Medical Journal'da "doğru yapma" için güzel bir örnek gösterildi (17+ Etki Faktörü ile çok saygın bir yayın)

Nullipar kadınlarda komplike olmayan gebelik ile ilişkili faktörlerin araştırılması ve doğrulanması: prospektif kohort çalışması, Chappell ve ark.

İşte ilgili paragraf:

5628 kadın veri setini üç bölüme ayırdık: Avustralya ve Yeni Zelanda'daki kadınların üçte ikisinin keşif veri seti, rastgele seçilmiş (n = 2129); Avustralya ve Yeni Zelanda’lı kadınların kalan üçte birinin yerel çoğaltma veri kümesi (n = 1067); ve 2432 Avrupalı ​​kadının Birleşik Krallık ve İrlanda Cumhuriyeti'nden gelen dış, coğrafi açıdan farklı bir doğrulama veri seti.

Literatürde biraz geriye dönersek, Altman ve ark. "Prognoz ve prognostik araştırma: prognostik bir modelin geçerliliği" konusunda çok daha derinlere giren ve içine düşmediğinizden emin olmanın yollarını öneren iyi bir makale var . bu hatayı. Makaleden "ana noktalar":

Doğrulanmamış modeller klinik uygulamada kullanılmamalıdır. Prognostik bir model doğrulanırken, kalibrasyon ve ayrımcılık değerlendirilmelidir. Doğrulama, modeli geliştirmek için kullanılandan farklı bir veri üzerinde yapılmalıdır, tercihen diğer merkezlerdeki hastalardan modeller Uygulamada iyi performans gösteremezler. geliştirme yöntemlerindeki eksiklikler nedeniyle veya yeni örnek orijinalden çok farklı olduğu için

Özellikle, diğer kaynaklardan gelen verilerle doğrulamanın yapılması önerisini (ben ifade ediyorum) , yani verilerinizi keyfi bir şekilde alt gruplara ayırmanın yeterli olmadığını, ancak bir sette sette "öğrenmeyi" kanıtlamak için elinizden geleni yapmanız gerektiğini unutmayın. Deneylerin farklı bir dizi deneyden elde edilen verilere uygulanabilir. Bu daha yüksek bir çubuktur, ancak kurulumunuzdaki sistematik bir önyargının bağımsız olarak doğrulanamayan "sonuçlar" oluşturma riskini daha da azaltır.

Bu çok önemli bir konu - soruyu sorduğunuz için teşekkürler!


7
Bu akla getiriyor: xkcd.com/882
Jens

2
jens - Bu verdiğimden çok daha açıklayıcı bir açıklama ... Bu bağlantı için teşekkürler. Her zamanki gibi - do biraz Zinger için karikatür üzerine fare hover.
Floris

Ioannides ve Lehrer makalesi beni buraya getiren yoldu. Örneğiniz , Simmons ve arkadaşları'ndaki @jona tarafından belirtilen örneğe benzer . Tip I hatalarının artış olasılığını açıklamanın çok iyi bir yolu, ancak bunun kötü olmasının başka nedenleri var mı?
hoc

1
Genel olarak veri tarama problemi, “nedensellik” ile “korelasyon” u şaşırtma riskinizdir. Önce makul bir hipotez ortaya koyarak , sonra gözlemlerin açıklanmasına yardımcı olduğunu onaylayarak, ikisini birbirine karışma riskini sınırlarsınız. "Büyük Veri" genellikle diğer yoldan gider - modus operandi'leri "yeterince veri analiz edersem geçmişte doğru olan ve gelecekte de kalmaya devam edecek kalıpları göreceğim" şeklindedir. Bazen işe yarar, bazen işe yaramaz. İstatistikler asla düşünme ve anlama yerine geçmemelidir - yalnızca bir onaylama .
Floris

6
Birincil sorunun korelasyonla nedensellik olduğunu düşünmüyorum. Berbat bir korelasyon analizi yapmak sadece derneklerin çoğalmadığını bulmak kolaydır.
Frank Harrell

5

Soru, tip 1 hata enflasyonu ile balık avı gezileri ile ilgili başka sorunlar olup olmadığını soruyor .

0

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.