Keşfedici veri analizinde Teksas keskin nişancı yanlışlığı

Bu makaleyi, bazı yanlışların veri analizi bağlamında açıklandığı Doğa'da okuyordum . Texas keskin nişancı yanıltmasının kaçınmasının özellikle zor olduğunu fark ettim:

Veri analizi sırasında bekleyen bir bilişsel tuzak, Teksas keskin nişancının masalları tarafından gösterilmektedir: ahır tarafına rastgele bir mermi kalıbı fırlatan, en büyük kurşun delikleri kümesinin çevresine bir hedef çizen ve gururla işaret eden bir hedef onun başarısı.

Boğa gözü açık bir şekilde gülünç - ama yanlışlık, bir kazanım çizgisi olduğunda 'sıcak bir ele' inanan kumarbazlar için ya da bir çekiliş çekilişinin tüm garip sayılar olarak ortaya çıktığında doğaüstü bir öneme sahip olan insanlar için çok açık değildir.

Ne de araştırmacılar için her zaman açık değildir. Pashler, “Verilerden sadece biraz cesaret alıyorsunuz ve sonra bunun iyi gideceğini düşünüyorum” diyor. “27 farklı seçeneğiniz olduğunu ve size en uygun veya ilginç sonuçları veren seçeneği seçtiğinizi farketmediniz ve şimdi verilerin hiç tarafsız bir şekilde gösterilemeyen bir şeyle meşguldünüz. ”

Bence bu tür araştırma çalışmaları yaygın ve sıklıkla analizin bu kısmına dayanan hipotezler oluşturuluyor. Bu sürece adanmış bütün bir yaklaşım var ( EDA ):

İstatistiği verileri araştırmaya teşvik etmek ve yeni veri toplama ve deneylere yol açabilecek hipotezleri formüle etmek için keşifsel veri analizi John Tukey tarafından desteklendi.

Daha önce sahte hipotezler üretme eğiliminde olan bir hipotez olmadan gerçekleştirilen herhangi bir keşif işlemine benziyor.

Yukarıdaki EDA tanımının gerçekten bahsettiğine dikkat edin new data collection and experiments. Yeni veriler toplandıktan sonra, doğrulayıcı bir veri analizinin (CDA) uygun olduğunu anladım. Ancak, bu ayrımın çok net yapıldığını düşünmüyorum ve EDA ile CDA'nın ayrılması ideal olsa da, kesinlikle bunun mümkün olmadığı bazı durumlar var. Bu ayrımı takip etmenin kesinlikle nadir olduğunu ve çoğu uygulayıcının EDA paradigmasına hiç abone olmadığını söylemeye devam ediyorum.

Öyleyse benim sorum şu: EDA (ya da herhangi bir veri araştırması için herhangi bir gayrı resmi işlem) Teksas'taki keskin nişancı yanıltıcılığına düşme ihtimalini arttırıyor mu?

Eğer biri EDA'nın rolünü kesinlikle hipotezler üretiyormuş gibi görürse , o zaman hiçbir keskin nişancı yanlışlığı geçerli değildir. Bununla birlikte, daha sonraki onaylayıcı çalışmaların gerçekten bağımsız olması çok önemlidir. Birçok araştırmacı, havuzdaki analizler, meta analizler ve Bayesian yöntemleri gibi şeylerle “farklılıkları” birleştirmeye çalışır. Bu, böyle bir analizde sunulan kanıtların en azından bir kısmının "rastgele kurşun delikleri etrafındaki daireyi" içerdiği anlamına gelir.

Bu, keşifsel veri analizine çok olumsuz bir bakış açısı getiriyor. Argüman yanlış olmasa da, gerçekten "çok önemli bir aleti yanlış bir şekilde kullandığımda ne yanlış gidebilir?" Diyor.

EDA yöntemlerinden ayarlanmamış p değerlerinin kabul edilmesi, büyük ölçüde şişirilmiş tip I hata oranlarına yol açacaktır. Ama bence Tukey bunu yapan hiç kimse ile mutlu olmaz. EDA'nın amacı, verilerdeki ilişkiler hakkında kesin sonuçlar çıkarmak değil, izlenecek verilerdeki potansiyel yeni ilişkileri aramaktır.

Bu adımı daha geniş bilimsel süreçlerde bırakmak, temel olarak bilimi, saf mantıksal çıkarımın dışında, verilerimizin yeni ilginç yönlerini asla bulamamasıdır. Hiç bir gen setinin aşırı ekspresyonunun bir hücrenin hayatta kalmasını nasıl etkileyeceğini mantıklı bir şekilde tespit etmeye çalıştınız mı? İpucu: çok kolay değil (işimdeki biyoinformatik personeli arasındaki en sevdiğim şakalardan biri, bir fizikçinin "Neden sadece farklı gen etkileşimlerinin fiziksel özelliklerini simüle etmiyorsun? Sonlu bir parametre alanı" diye sormasıydı.)

Şahsen, bu konuyla ilgili karışıklığın bilimsel ilerlemede yavaşlamaya yol açabileceğini düşünüyorum. Ön verilerde EDA prosedürleri yapmak istemediklerini söyleyecek çok fazla istatistiksel olmayan araştırmacı biliyorum çünkü "EDA'nın kötü olabileceğini biliyorlar".

Sonuç olarak, EDA yöntemlerini kullanmak ve bunları doğrulayıcı veri analizi yöntemleri olarak kabul etmek kesinlikle yanlış sonuçlara yol açacaktır. Bununla birlikte, EDA'nın uygun bir şekilde kullanılmaması neredeyse hiç sonuç vermeyebilir.

Daha önce sahte hipotezler üretme eğiliminde olan bir hipotez olmadan gerçekleştirilen herhangi bir keşif işlemine benziyor.

Bu ifadeyi sertleştirir ve biraz daha açık bir şekilde ifade ederdim: Verilere dayanarak test etmek için bir hipotez seçmek , eğer doğru boş hipotezi kullanmıyorsa testi baltalar. Nature makalesinin itici gücü, temel olarak, analistlerin keşif sırasında yaptıkları tüm çoklu karşılaştırmaları görmezden gelmeleri için kendilerini kandırmaları kolaydır.

Doğa Andrew Gelman'dan alıntılar yapıyor, ancak Eric Loken'le birlikte bu konuyla ilgili makalesini de belirtmiyor Bir alıntı:

Burada tartıştığımız makalelerin bazılarına ilişkin çoklu karşılaştırma eleştirileri ortaya çıktığında, araştırmacılar, önceden veri işleme ve veri analizlerinin tüm ayrıntılarını seçtiklerini asla cevaplamamış; bunun yerine, gördükleri belirli veriler için yalnızca bir analiz seçtiklerini iddia ediyorlar . Bu savunma göründüğü kadar sezgiseldir, çoklu karşılaştırmaların temel sıklık kaygısına değinmez.

Bir diğeri:

Araştırmacılar, yüzlerce farklı karşılaştırma yapıp istatistiksel olarak anlamlı olanları seçtiler. Aksine, hangi karşılaştırmanın gerçekleştirileceğine dair akıllarında bir miktar oluşturulmuş fikirle başlarlar ve veriler ışığında bu fikri iyileştirirler. Kırmızı ve pembe renklerde bir desen gördüler ve renkleri birleştirdiler.

özlü:

Bilimselden istatistiksel hipotezlere kadar bire çok haritalama vardır.

Ve bir tane daha, benimkinin vurgusu:

Tartıştığımız tüm vakalarda, yayınlanan analiz çalışmayı motive eden bilimsel hipotezlerle tutarlı bir hikayeye sahiptir, ancak diğer veri kalıpları (örneklem büyüklükleri göz önüne alındığında kolayca tesadüfen oluşmuş olabilir) doğal olarak yol açabilirdi. farklı hipotezleri desteklemek için kullanılmış olabilecek farklı veri analizleri (örneğin etkileşimler yerine ana etkilere odaklanma veya karşılaştırılacak farklı veri alt kümeleri seçimi). Sonuç, başka bir yerde yazdığımız gibi, rastgele kalıplar üretmek ve yayınlamak için bir tür makinedir.

Kısacası, EDA'nın “sahte bir hipoteze” yol açması değil; Bu, hipotezi yönlendiren aynı veri setiyle bir hipotezi test etmenin sahte sonuçlara yol açabileceğidir.

Bu engeli aşmakla ilgileniyorsanız Gelman, bu sorunların çoğunun bir Bayesian çerçevesinde ortadan kalktığını iddia eden bir başka makaleye daha sahiptir ve Loken ile birlikte bu makalenin ilk bölümünde açıklandığı gibi "yayın öncesi çoğaltma" yazdığını belirtmiştir .

Neredeyse tanımı gereği, evet, elbette, CDA'sız EDA Teksaslı keskin nişancıları cezbeder.

$p$$p$

Sadece mükemmel cevapları eklemek için: Dolu bir CDA ile sadece EDA sonuçlarınızı kabul etmek arasında gerçek bir değere sahip. Olası bir ilgi (veya hipotez) özelliğini bulduğunuzda, çapraz doğrulama (CV) veya önyükleme simülasyonları gerçekleştirerek onun sağlamlığını hissedebilirsiniz. Bulgularınız yalnızca birkaç kilit gözleme bağlıysa, CV veya Bootstrap, birçok kıvrımın (CV) veya boostrap numunelerinin gözlenen özelliği çoğaltmakta başarısız olduğunu gösterecektir.

Bu kusursuz bir yöntem değildir, ancak tam bir CDA'ya gitmeden önce iyi bir ara kontrol (veya ilk veri havuzunuzdan "doğrulama setini" isteyerek).

Veri modeli seçiminde en titiz kriter, verinin Kolmogorov Karmaşıklığına yaklaşma derecesidir - ki bu, verileri kayıpsız bir şekilde sıkıştırma derecesini belirtir. Bu, teoride, yalnızca keşif amaçlı veri analizinden kaynaklanabilir.

Bkz. " Algoritmik üretken modellerle nedensel dekonvolüsyon ".