Post-hoc test ile ilgili sorun nedir?

İstatistik profesörüm öyle diyor ki, baktığım tüm kitaplar bunu söylüyor: post-hoc test bilimsel değil. Önce teoriden bir hipotez türetmeli, sonra veri toplamalı ve analiz etmelisiniz .

Ama sorunun ne olduğunu gerçekten anlamıyorum.

Farz edelim ki, farklı araba renkleri için satış rakamları görüyorum ve sokaktaki en büyük araba grubunu satan farklı renkli arabaların sayısının beyaz olması hipotezini oluşturuyorum. Bu yüzden bir gün bir sokakta oturuyorum ve beni geçen tüm arabaların tüm renklerini not ediyorum. Sonra bazı testler yaparım ve her neyse bulurum.

Şimdi, bir gün sıkıldığımı ve bir sokakta oturduğumu ve beni geçen tüm arabaların tüm renklerini not ettiğimi varsayalım. Grafikleri sevdiğim için güzel bir histogram çiziyorum ve beyaz arabaların en büyük grubu oluşturduğunu görüyorum. Bu yüzden sokaktaki çoğu otomobilin beyaz olduğunu ve bazı testler yaptığını düşünüyorum.

Post-hoc testin sonuçları veya sonuçlarının yorumlanması teori güdümlü * hipotez testinden nasıl ve neden farklıdır?

_{* Zaten post-hoc testin tersi ne olacak?}

Evren hakkındaki bilgimizin çoğunun (Dünya Güneş etrafında hareket ediyor) post hoc gözlemden çıkarıldığını eklemek isterim.

Fizikte bunun olduğunu varsaymak mükemmel tamamdır geliyor bana değil güneş son bin yıldır Doğu'da yükselen edildiğini tesadüf.

"Biliyor musun, bu gece başıma en şaşırtıcı şey geldi. Buraya, konferansa giderken geldim ve otoparktan geldim. Ve ne olduğuna inanamayacaksın. Ruhsatlı bir araba gördüm ARW 357. Hayal edebiliyor musunuz? Eyaletteki milyonlarca plakanın içinde, bu gece bir tanesini görme şansım ne oldu? Richard Feynman

Bu sorunun derin teknik yönlerini açıklayacak durumda olmadığımı hissediyorum. Ancak birçoğunun sezgiye indirgenebileceğini düşünüyorum.

İlk kurulumda, yeni verilerde (tasarlanan denemeden) doğruladığınız bazı hipotezlerle başlarsınız. Satış rakamlarını incelemek, cevabınızın ne kadar güçlü olması gerektiğine gerçekten karar verebileceğiniz çok iyi hazırlanmış iyi tasarlanmış bir deneye yol açabilir (istatistiksel güç, p değerleri, örnek boyutu ve diğer birçok şey).

Her şeyden önce ikinci kurulumda, cevabın gücü hakkında hiçbir şeye karar vermemenizdir. Bu bir problem. İkinci problem, testler için kullanılan aynı örnekten hipotezin çıkarılmasının, kontrol edilemeyen bir şekilde, rastgele örüntülerin değerli bilgi olarak yorumlanma şansını artıracağıdır. Yaptığınız bir şey (beyaz arabaların çok sayıda olduğu) fark etmek ve kendinize bunun önemli olup olmadığını sormaktır. Nokta olmasıdır seçilen diğer hipotezler atarak, bu numunenin sadece kayda değer bir gerçektir görünür. Bunu yapmak, bazı hipotezler için uygun koşullar yarattığınızı ve çoğu apriori istatistik testinin varsayımlarını kırdığınızı.

Bu sızıntıyı bilmediğiniz gibi davranmanız bilimsel değildir ve bunun doğru olmadığı zaman tüm varsayımları ile bir deney olduğunu iddia eder. Bu durumda, bir hipotez formüle etmek ve test etmek için yepyeni bir deney tasarlamak için post hoc analiz kullanmak bilimseldir.

Önce veri toplar ve sonra verilere dayalı bir teori oluşturursanız, gözlemlerinize bir hikaye yerleştirme tehlikesiyle karşı karşıya kalırsınız. Sorun şu ki biz insanlar hikayeler yazma konusunda son derece iyiyiz. Başka bir deyişle , hikaye yeterince kıvrımlıysa, herhangi bir veri bir hikaye tarafından "açıklanabilir".

Bu işlem güzel fıkralar sağlar. Ancak, gerçeği açıklaması ve / veya iyi tahminler sunması için hiçbir neden yoktur. Bunun için bir model oluşturmanız ve doğrulamanız gerekir .

xkcd bu fenomen spor "yorum" sayar :

İlgili, pareidolia fenomeni : yok olan kalıpları görmek. Örneğin, Mars'ın önceki uydu görüntülerinde gördükleri "Yüz" halkı bakın:

Ayrıca, daha fazla veri toplarken , hikayenizi gözlemlerinizi "açıklamak" için "devam etmeyi" sağlamak için daha tuhaf yollarla değiştirmemenize dikkat etmelisiniz :

Bilim, hipotezler oluşturarak (elbette deneyim tarafından motive edilir), bu hipotezlere dayalı tahminler yapıp bunları test ederek çalışır. Geçmişte bir şeyi gözlemlemek, bu gözlemi bir teoriye dönüştürmek mantıklı olur, ama sonra geçmişi kendisi teoriyi otomatik olarak doğrulayan bir tür geriye dönük deney olarak ele alır mı? Hayır, çünkü tüm soru, geçmişte bir kez işe yarayıp yaramadığı değil, teorinizin ne kadar iyi genelleştiği idi. Bu nedenle verilerin önerdiği hipotezleri test etmek kötü bilim olarak kabul edilir.

Profesörünüz ve diğer cevaplar, post-hoc analizin problemleri olduğu konusunda haklıdır. Bununla birlikte, post-hoc analizden çok iyi bilimin geldiğini de haklısınız. Kilit nokta, uygun şekilde tasarlanmış deneylerin tercih edilmesi ve post-hoc analizlerin gerçek keşiflerle eksik sahte eserleri önlemek için dikkatle ve özel araçlarla ele alınması gerektiğidir. Yanlış keşif oranı hakkındaki Wikipedia makalesi sorun hakkında fikir verebilir.

Birkaç örnek vermek gerekirse:

• Dünyadaki tüm sığır nüfusu üzerinde biyometrik önlemler alırsak, sığırların iki burun deliği olduğu sonucuna varabiliriz. Bu aslında post-hoc bir analizdir, ancak biyoloji, volkanoloji veya tarihin çoğu bu şekilde inşa edilmiştir. Sığırların iki burun deliği olduğu gerçeğini göz ardı etmememizin nedeni, bu kadar ezici olmasının lehine kanıttır.
• Belirli bir sığır çiftliğinde önceki yıl doğan buzağılardan veri alıyoruz. Her salı dolunay altında yeni doğan buzağıların% 50'sinden fazlasının kadın olduğunu fark ediyoruz - o ülkede resmi tatiller veya Salı günleri kış hariç. Daha önce bu tür günlerin daha fazla kadın buzağı ürettiği hipotezini yapmış olsaydık, bir hipotez testi yapabilir ve bu hipotezi kabul edebiliriz (veya reddedebiliriz). Bununla birlikte, bunun sadece post-hoc bir analiz olduğunu dikkate alırsak, sahte bir fenomeni reddetmek için kanıt yeterli olmayacaktır.

Paraşütlerin anekdot olarak yararlı olduğuna dair tüm kanıtları ironik bir şekilde reddeden , sıklıkla atıfta bulunulan bir makale vardır - bu, post-hoc analize dayanan özellikle kötü bir kanıt sınıfıdır.

Ve Stephan Kolassa'nın cevabı tarafından kullanılan iyi bir örnek kullanmak için: Mars'ta bir yüze benzeyen birkaç karanlık nokta pareidolia olarak reddedilebilir, ancak Leonardo Da Vinci'nin Son Akşam Yemeği'ni en ince ayrıntısına üreten bir şey olamazdı.

Eğer önerilerinizi destekleyen bir teoriniz yoksa, teklifiniz doğrulanmış olsa bile, bu tesadüf olabilir ve hiçbir şey kanıtlamaz. Örneğin, güneş yükseldiğinde lazımlık yaptığımı ve son 10 yıldır bunu yaptığımı görüyorum - bu verilere dayanarak, post-hoc bir analiz bana lazımlık yapmakla güneşin yükselmesi arasında bir ilişki olduğunu söylüyor, oysa var olan sadece bir tesadüf. Güneş doğmaz çünkü lazımlık yaparsınız.

Hayat tesadüflerle doludur. Teori destekli önermeler bu tür tesadüfleri veya sözde ilişkileri ortadan kaldırır.

İşte faydalı bulabileceğiniz bir sezgi. Sıkılmış ve arabaları sayıyorsanız, gördüğünüz şeyin rastgele bir sürecin sonucu olduğunu hatırlamanız gerekir. Özellikle, arabalar olabilirdi farklı renkler.

Bu nedenle, en sık kullanılan rengin beyaz olduğu hipotezini oluşturursanız, bunun nedeni aslında olabilir, ancak aynı zamanda en sık görülen rengin kırmızı olması olabilir, ancak belirli bir deneyde, en sık olanın beyaz olduğu (her zaman mümkündür) ).

Şimdi, post-hoc yaparsanız, beyazın en sık olup olmadığını test edersiniz ve verilerin çok hipotez önerdiğine göre, beyazın en sık olduğu sonucuna varabilirsiniz ... En azından veriler asla çelişmeyecektir (post-hoc) hipotez.