İstatistiksel araçların uygunsuz kullanımından kaynaklanan maliyetli sonuçlara örnekler

İstatistiksel araç kullanıcılarının çoğunun yardımcı kullanıcılar olduğundan şüpheleniyorum (istatistik konusunda çok az resmi eğitim almış veya hiç eğitim almamış kişiler). Araştırmacıların ve diğer profesyonellerin, sadece hakemli dergilerde, gri literatürde, web'de veya bir konferansta “daha ​​önce yapıldığını” gördükleri için istatistik yöntemlerini uygulamalarına çok cazip geliyor. Bununla birlikte, gerekli varsayımları ve istatistiksel aracın sınırlamalarını net bir şekilde anlamadan bunu yapmak hatalı sonuçlara yol açabilir - hatalar genellikle onaylanmamıştır!

Lisans öğrencilerinin (özellikle sosyal ve doğa bilimlerinde) ya istatistiksel tuzaklardan habersiz olduklarını ya da bu tuzakları önemsiz bulduklarını düşünüyorum (ikincisi çoğu zaman durumdur). İstatistiksel araçların uygunsuz kullanım örnekleri birçok giriş seviyesi ders kitabında, web'de veya StackExchange'te bulunsa da, zararlı sonuçları olan gerçek dünya örneklerini bulmakta zorlanıyorum (örneğin $, maliyet, etkilenen hayatlar ve kariyer kaybı) . Bu amaçla, istatistiksel yöntemlerin kötüye kullanımını vurgulayan gerçek dünyadan örnekler arıyorum:

1. kullanılan istatistiksel yöntemler genellikle giriş istatistikleri derslerinde (yani çıkarımsal istatistikler, gerilemeler vb.)
2. Sonuçta oldu masraflı sonuçlar (... kariyer vb paramparça, hayatlarını etkiledi, dolar kaybetti)
3. veri kolayca kullanılabilir bir derste örnekler çalışma olarak kullanım için (amaç gerçek dünya etkileri olmuştur gerçek dünya örnekleri ile öğrencilerin çalışmalarını sahip olmaktır.)

İstatistiksel olmayan bir örnek, bir araştırma projesinde birimleri doğru bir şekilde tanımlamanın önemini tartışırken öğrencilere yetiştirmeyi sevdiğim bir örnek, 125 milyon dolarlık bir uydunun kaybına yol açan “metrik yanlışlık” dır! Bu genellikle öğrencilerden: -o faktörünü başlatır ve kalıcı bir izlenim yaratır (en azından kısa akademik yaşamları boyunca).

Veri kullanılabilirliğinden emin değilim, ancak kötü istatistiklerin harika bir örneği, Harvard Hemşirelerinin menopozal kadınlarda hormon replasman tedavisinin (HRT) etkinliği üzerine çalışmasıdır.

Genel fikir nedir? Hemşireler Çalışması, HRT'nin menopoz sonrası kadınlar için faydalı olduğunu ileri sürdü. Kontrol grubunun tedavi grubundan çok farklı olduğu ve bu farklılıkların analizde dikkate alınmadığı için bu sonucun ortaya çıktığı ortaya çıkmaktadır. Sonraki randomize çalışmalarda HRT, kanser, kalp krizi, inme ve kan pıhtılarıyla ilişkilendirilmiştir. Hemşirelerin çalışması uygun düzeltmelerle bu modelleri de ortaya koymaktadır.

ABD'nin HRT ile ilgili ölümleri hakkında tahmin bulamıyorum, ancak büyüklüğü onbinlerce idi. Bir makale İngiltere'deki 1000 ölümü HRT'ye bağladı.

Bu New York Times Dergisi makalesi, çalışmada mevcut olan karışıklık yaratan meselelerin iyi bir istatistiksel arka planını sunmaktadır.

Amerikan Epidemiyoloji Dergisi'nin bu sayısında akademik bir tartışma var . Makaleler, gözlemsel Hemşireler çalışmasının sonuçlarını randomize çalışmalara dayanarak Kadın Sağlığı Girişimi ile karşılaştırmaktadır.

Ayrıca Biyometri konusunda da (aynı kişilerin birçoğu tarafından) tartışma var Freedman ve Petitti'nin özellikle [ prepub versiyonu ] yorumuna bakınız .

Harika bir tarihsel örnek, 1933'te Horace Secrist'in İşte Sıradanlık Zaferi'nin yayınlanmasıyla sağlanmıştır . O zaman Secrist, köklü bir istatistikçiydi, bir ders kitabının yazarı (c. 1919, hatırlıyorum), Amerikan İstatistik Derneği'nde iyi bağlanmıştı ve Northwestern Üniversitesi'nde bir istatistiksel araştırma grubunun başkanıydı. O ve personeli, kitapta çoğaltılmış ve özenle analiz edilen önceki on yıllık iş verilerini derleyerek geçirmişlerdi. Hırslı bir istatistikçi tarafından bir şef d'oeuvre olması gerekiyordu .

Harold Hotelling'in o yıl içinde JASA'da ortaya çıkan kitabı incelemesi, Secrist'in ortalamaya sadece yüzlerce regresyon örneğini belgelediğine dikkat çekti (bugün herhangi bir giriş istatistik dersinde temel bir konu, sorunun 1. maddesi). Secrist yayınlanan bir cevaba itiraz etti. Hotelling'in buna cevabı bir klasik:

Pahalı ve uzun süreli sayısal bir çalışma ile böyle bir matematiksel sonucu "kanıtlamak" ... filler sıra ve sütunlar halinde düzenlenmiş ve daha sonra birçok hayvan türü için aynısını yaparak çarpım tablosunu kanıtlamaya benzer. Performans, belki de eğlenceli olsa da ve belirli bir pedagojik değere sahip olsa da, zooloji veya matematiğe önemli bir katkı değildir.

[JASA - 29 # 186, Haziran 1934, s. 199.]

Secrist, bundan kısa bir süre sonra istatistik sahnesinden hızla kaybolmuş gibi görünüyor ("kariyer bozuldu", soruda # 2 noktası). Kitabı hala mevcut. (Birkaç yıl önce Kütüphaneler Arası Ödünç yoluyla çok az okunan güzel ve temiz bir kopya elde ettim.) Ondan istediğiniz sayıda örnek veri seti çıkarabilirsiniz (sorunun 3. noktası).

Steven Stigler bu hikayeyi bir kitapta ve bir makalede anlatıyor , 1933'te istatistik tarihi .

Bana göre, Wired'in 2008 borsa çöküşünü ele geçirmesi bilgilendirici bir örnek olabilir. Sonuçların doğru olup olmadığı konusunda yorum yapamayız , ancak temsili bir örnek olmayan veriler üzerinde korelasyon kullanma fikri, önerdiğiniz koşullara uygun olabilecek bir şey gibi görünüyor. Aynı zamanda günceldir ve onları da ilgilendirebilir.

Bu Ted Talk'u ilginç ve alakalı bulabileceğinizi düşündüm:

• http://www.ted.com/talks/ben_goldacre_battling_bad_science.html