Deneysel tasarımdaki tuzaklar: Ölü deneylerden kaçınma

Bu alıntıya defalarca rastladım:

Bir deney bittikten sonra istatistikçiye danışmak çoğu zaman yalnızca ölüm sonrası bir inceleme yapmasını istemek içindir. Belki de deneyin neyin öldüğünü söyleyebilir. - Ronald Fisher (1938)

Bana göre, belki biraz küstahça görünüyor. Deneylerin iyi tasarım olmadan nasıl öldüğünü açıklayan şimdiye kadar bulduğum tek örnek, kontrol eksikliği veya zayıf kontroller. Örneğin, bir gübrenin uygulanmasını kontrol eden, ancak uygulama için gereken ortamı kontrol edemeyen deneyler. Belki de sadece benim, ama Fisher'ın tasarım ilkeleri hakkındaki Wikipedia bölümünden hızlıca okunması çoğu temeli kapsayacak gibi görünüyor .

Bir istatistikçi olarak, deneylerle ilgili problemlerin verilerini ne sıklıkla görüyorsunuz? Her zaman Fisher tarafından belirtilen birkaç faktörle ilişkili midir, yoksa istatistiksel olarak eğitilmemiş bilim adamlarının göz önünde bulundurması gereken diğer ciddi tuzaklar var mı?

Fisher'ın ünlü alıntılarında ne anlama geldiğine inanıyorum "Çalışmamız için tam bir faktoring tasarım yapacağız" veya başka bir tasarım yaklaşımı. Deneyi planlarken bir istatistikçiye danışmak, araştırmanın amacı, hangi değişkenlerin konuyla ilgili olduğu, bunları nasıl toplayacağınız, veri yönetimi, tuzaklar, denemenin nasıl gittiği ile ilgili ara değerlendirme de dahil olmak üzere sorunun her yönünü akıllıca düşünmek anlamına gelir. Daha. Sık sık, zorlukların nerede olduğunu gerçekten anlamak için önerilen deneyin her yönünü görmenin önemli olduğunu düşünüyorum.

Tecrübelerim çoğunlukla tıbbi uygulamalardan geliyor. Bir istatistikçiye önceden danışarak önleyebileceğim sorunların bir kısmı önceden:

• Tabii ki, yetersiz numune büyüklüğü bu listede bir numaradır. Genellikle önceki çalışmalardan elde edilen veriler mevcut olacak ve ihtiyaç duyulan örneklem büyüklüğünün makul bir tahminini vermek kolay olacaktı. Bu gibi durumlarda, tek başvuru genellikle verilerin yalnızca tanımlayıcı bir analizini yapmak ve makalede daha fazla araştırma yapmak için söz vermektir (yayıncılık yapmamak, doktorların değerli zamanlarını harcadıktan sonra genellikle bir seçenek değildir).
• Deneylerin yapılması tasarım yerine kolaylık ve şansa bırakılmıştır. Şu anda üzerinde çalışıyorum bir örnek zamanla toplanan ölçümler vardır. Ölçüm süreleri, ölçüm sıklığı ve izleme süresinin sonu bireyler arasında çılgınca değişir. Birey başına ölçüm sayısının arttırılması ve ölçüm tarihlerinin ve izleme süresinin bitiminin sabitlenmesi (bu durumda) oldukça az bir ek iş olabilirdi ve çalışmaya çok faydalı olurdu.
• Kolayca kontrol edilebilecek rahatsızlık faktörlerinin zayıf kontrolü. Örneğin, numuneler toplandığı gün ve bazen daha sonra numunenin bozulma olasılığı bırakılarak ölçümler yapıldı.
• Kişisel favorilerim de dahil olmak üzere, kötü veri yönetimi "Bilgisayarı koymadan önce verileri yuvarladım, çünkü makine ölçümlerinde yanlış." Çoğu zaman, ilgili veriler henüz toplanmaz ve bundan sonra elde edilmesi imkansızdır.

Genellikle, bir çalışmayla ilgili problemler, araştırmanın ilk anlayışına daha da geri gider:

• Veriler bazen açık bir amaç ve sadece bir şekilde yararlı olacağı varsayımı olmadan toplanmaktadır. Hipotez üretmek ve “önemli sonuçlar” istatistikçilere bırakılır.
• Ve tam tersi: veriler, PI'nin kafasında olan belirli bir noktayı kanıtlamak amacıyla, verilerden ve gerçekte ne kanıtlanabileceğinden bağımsız olarak kazınır. Bu kez istatistikçilerin, veriler karşısında düzeltilmeden önceden yazılan sonuçlara önem damgasını koymaları beklenmektedir.

Şimdiye kadar, bu temel olarak istatistikçi acı çekiyor gibi gözüküyor ve PI verilerle desteklenmeyen sonuçları zorlamaya çalıştığında belki bilimsel bütünlük acı çekiyor (her zaman eğlenceli bir tartışma). Ancak deney ekibi de acı çekiyor, çünkü deney aşamasında gereksiz ekstra iş yapıyor (gerekli işi yapmamakla birlikte) ve daha önce tavsiyelerini almadıkları için istatistikçilerle tartışmaya daha fazla zaman harcamak zorundalar. Ve elbette, final makalesi daha kötü olacak, daha az sonuç çıkaracak (ve daha fazla "varsayım") ve muhtemelen PI'nin istediği yüksek etkili dergiye girmeyecek.

İki kelime: Örneklem Boyutu ... Güç analizi bir zorunluluktur. Baştan sona ekibinize yetkin bir istatistikçi ekleyerek, makalenizin veya raporunuzun sonuçlarını ve tartışma bölümlerini yazarken büyük olasılıkla büyük bir sıkıntı yaşayacaksınız.

Bir baş araştırmacının, 30 kişiden az bir örneklemden bir “öngörücü model” veya “nedensel bir ilişki” beklentisi olan bir istatistikçiye danışmadan önce veri toplaması çok yaygındır. PI veri toplamadan önce bir istatistikçiye danışmış olsaydı, istatistikçi uygun analizlerden sonra daha fazla veri / konu toplamak veya analiz planlarının / projelerinin hedeflerini yeniden yapılandırmak için PI'yi bilgilendirebilirdi.

Sanırım "tasarım" kelimesini ne kadar kesin yorumladığınıza bağlı. Bazen tamamen randomize vs. randomize bloklar, vb. Anlamına gelir. Ondan ölen bir çalışma gördüğümü sanmıyorum. Ayrıca, diğerlerinin de belirttiği gibi, "öldüğün" çok güçlü olduğundan şüpheleniyorum, ancak terimi nasıl yorumladığınıza bağlı. Kesinlikle 'anlamlı olmayan' çalışmalar gördüm (ve daha sonra araştırmacıların sonuç olarak yayınlamaya çalışmadıkları); Farklı olarak yapılırsa (vereceğim açık tavsiyeye göre) ve dolayısıyla yayınlandığı takdirde, bu çalışmaların 'önemli' olabileceği varsayımı altında ve “yayınlanmış” olarak nitelendirilebilir. Bu anlayış ışığında, @RobHall ve @MattReichenbach’ın ortaya çıkardığı güç sorunu oldukça basittir. ancak, örneklem büyüklüğünden daha fazla güç var ve bunlar daha gevşek bir "tasarım" anlayışı altına girebilir. Burada bir çift örnek var:

• Bilgi toplama / kaydetme / ya da çöpe atma
  Araştırmacıların belirli bir özelliğin kanserle ilgili olup olmadığına ilgi duydukları bir çalışma üzerinde çalıştım. İki çizgiden (yani, genetik çizgiler, farelerin belirli özellikler için yetiştirildiği) fareler aldılar, burada bir çizginin diğerinden daha fazla özelliğe sahip olması bekleniyordu. Bununla birlikte, söz konusu özellik, olmasına rağmen gerçekte ölçülmedi. Bu durum, gücü azaltan sürekli bir değişkeni dikhotomize veya bindirmeye benzerdir. Bununla birlikte, sonuçlar 'anlamlı' olsa bile, her bir fare için özelliğin büyüklüğünü bildiğimizden daha az bilgilendirici olacaktır.

  Bu aynı başlıktaki bir başka durum da açık değişkenleri düşünmek ve toplamak değildir.

• Kötü anket tasarımı
  Geçenlerde hasta memnuniyeti anketinin iki koşulda yapıldığı bir çalışma üzerinde çalıştım. Ancak, hiçbir madde ters puanlama yapmamıştır. Çoğu hasta listeye düştü ve 5 maddeyi de işaretledi ( muhtemelen katılıyorum ), muhtemelen eşyaları okumadan bile. Başka sorunlar da vardı, ama bu çok açık. Tuhaf bir şekilde, çalışmayı yürüten sorumlu kişi, katılmasının açıkça bu tür danışmanlık için ücretsiz ve elverişli olmamıza rağmen, çalışmayı ilk önce bir istatistikçi ile incelememesini teşvik ettiğini söyledi .

Bu tür problemleri anket benzeri ve psikolojik deneylerde gördüm.

Bir durumda, tüm deney bir öğrenme deneyimine dönüştürülmek zorunda kaldı. Sonuçların karışıklığına neden olan birden fazla düzeyde sorun vardı, ancak hipotezi desteklediği anlaşılan sonuçlar vardı. Sonunda, hipotezi reddetmek için yeterli güce sahip olan daha sıkı bir deney planlamama yardımcı oldum.

Diğer durumda, daha önce tasarlanmış ve yapılmış bir anket uygulandı ve birkaç ilgi alanının etkilenmesiyle sonuçlanan çok sayıda sorun vardı. Örneğin, bir kilit alanda, müşterilerin bir etkinlikten kaç kez uzakta olduklarından dolayı dolu olduklarından sorulduğunu sordular. Sorun şu ki, soruda zaman aralığı olmaması, 4 kez katılmaya çalışan ve 4 kez geri çevrilen ve 40 kez katılmaya çalışan ve sadece 4 kez geri çevrilen biri arasındaki farkı söyleyemezsiniz. .

Ben eğitimli bir başkent İstatistiği değilim, ama daha önce bana gelirlerse, bu sorunları çözmelerine ve daha iyi sonuçlar almalarına yardımcı olabilirdim. İlk durumda, yine de hayal kırıklığı yaratıyordu, "Üzgünüm, hipoteziniz son derece düşük görünüyor", ancak onları ikinci bir deneyden kurtarabilirdi. İkinci durumda, onlara bazı önemli sorulara cevaplar vermiş ve sonuçları daha net yapmıştır. (Sahip oldukları diğer bir problem, zaman içinde birden fazla yeri araştırmış olmaları ve en azından bazı insanların bu nedenle birden fazla kez "anketi başka bir yere mi yaptınız?" Diye sorgulamamasıydı.

Belki de istatistiki konular değil, ancak her iki durumda da akıllı, iyi eğitimli alan uzmanları kusurlu araçlar yarattı ve sonuçlar bir ölü deney ve bir uzuvla yapılan bir deneydi.