Analizler genellikle laymenler tarafından yapıldığında, bir modelde model varsayımı ve değerlendirmenin önemini abartıyor muyuz?


54

Sonuç olarak , istatistikler hakkında ne kadar çok şey öğrenirsem, o alanda yayınlanmış makalelere o kadar az güvenirim; Araştırmacıların istatistiklerini yeterince iyi yapmadıklarına inanıyorum.


Ben bir meslektenim, tabiri caizse. Biyoloji eğitimi aldım ancak istatistik ya da matematik alanında örgün bir eğitimim yok. R'den zevk alıyorum ve araştırma yaparken uyguladığım yöntemlerin bazı teorik temellerini okumak (ve anlamak…) için çaba sarfediyorum. Bugün analiz yapan insanların çoğunluğu aslında resmi olarak eğitimli değilse, beni şaşırtmaz. Bazıları tanınmış dergiler ve istatistikçiler tarafından kabul edilen yaklaşık 20 orijinal makale yayınladım. Analizlerim genel olarak hayatta kalma analizi, doğrusal regresyon, lojistik regresyon, karışık modeller içerir. Bir daha önce hiç bir gözden geçiren model varsayımları, uygunluk veya değerlendirme hakkında bir soru sormadı.

Bu nedenle, model varsayımları, uyum ve değerlendirme konusunda hiçbir zaman çok fazla sıkıntı yaşamadım. Bir hipotez ile başlıyorum, regresyonu yürütüyorum ve sonra sonuçları sunuyorum. Bazı durumlarda, bunları değerlendirmek için çaba sarf ettim ama her zaman " bütün varsayımları yerine getirmedi, ama sonuçlara güveniyorum (" konu bilgisi ") ve akla yatkın, bu yüzden sorun değil " ve Bir istatistikçiye danışırken her zaman aynı fikirde görünüyorlardı.

Şimdi, kendi analizlerini yapan diğer istatistikçiler ve istatistikçi olmayan kişilerle (kimyagerler, doktorlar ve biyologlar) konuştum; İnsanların bütün bu varsayımlar ve resmi değerlendirmelerden pek fazla rahatsız etmediği görülüyor. Fakat burada CV'de, artıklar, model uyumu, değerlendirme yolları, özdeğerler, vektörler ve liste devam ediyor. Bana bu şekilde koyalım, lme4 büyük özdeğerler hakkında uyardığında, kullanıcılarının çoğunun bunu ele almakla ilgilendiğinden şüpheliyim ...

Ekstra çabaya değer mi? Yayınlanan tüm sonuçların çoğunluğunun bu varsayımlara saygı göstermemesi ve belki de onları değerlendirmemiş olması muhtemel değil mi? Veritabanları her geçen gün daha da büyüdüğü için bu büyük olasılıkla büyüyen bir konudur ve veriler ne kadar büyük, varsayımlar ve değerlendirmeler o kadar az önemlidir.

Kesinlikle yanılıyor olabilirim, ama bunu böyle algıladım.

Güncelleme: StasK'dan ödünç alınan alıntı (aşağıda): http://www.nature.com/news/science-joins-push-to-screen-statistics-in-papers-1.15509


34
Bu soruyu kapatmanın, istatistik bölümlerinin duvarlarının dışındaki "gerçek dünyada" istatistiğin nasıl kullanıldığını tartışmak için önemli bir fırsatı bırakacağı konusunda uyarmak istiyorum. Özgeçmiş, gerçek dünyadaki insanlar ve istatistikçilerin birbirine karıştığı ve iletişim hatlarını açık tutmak, açık olsa da, özgeçmişin önemli bir görevidir. Bu çok geniş ve fikir temelli olduğu için "kapat" ı tıklayanlarla tamamen aynı fikirdeyim, ancak hala bu tartışmayı devam ettirebileceğimizi umuyorum.
StasK

5
Birçok yayının, araştırmacının ve hatta tüm alanların varsayımlara kayıtsız davrandığı gerçeği, yeterince önemsemediğimizi gösteriyor mu? İstatistikçilerin ve ders kitaplarının önemini abartması da mümkündür, ancak kesinlikle uygulayıcılar ve insanlarla olan popülerlikleri de bunun temelini oluşturamaz. Ayrıca konvansiyonlar ve standartlar da oldukça değişkendir. Bazı disiplinler muhtemelen aşina olduğunuzdan daha fazla önemserken, diğerleri muhtemelen kendi alanınızda yayınlanması çok önemli olan şeyleri pek önemsemiyor.
Gala,

6
Model varsayımlarının bilerek ihlal edildiği ve yanlış sonuçların alındığı önceki bir çalışmayı eleştiren bir yorum kağıdı yazmış olsaydım, tavsiyem sonuçlara güvenmemek ve olabildiğince özeleştiri olmayacaktır.
Dikran Marsupial

7
"Veri ne kadar büyükse, varsayımlar o kadar az önemlidir" verilerin gerçek büyümesiyle ilgili değildir: Büyüyen şey (temel olarak) ölçüm tekniklerindeki gelişmelere bağlı olarak bağımlı gözlem / özelliklerin sayısıdır. Buna karşılık, bağımsız gözlem sayısı, yani deneysel birimler veya probandlar, sınırlı kalmaktadır (popülasyonlar teknik gelişmelerle artmadığından ...). Ne yazık ki, yalnızca bağımsızlık içeren büyük veriler varsayımları (genellikle her zaman değil) merkezi limit teoremi nedeniyle daha az önemli kılar.
Horst Grünbusch

3
@AdamRobinsson: Sorunuzun başında yayınladığınız sonucu sevdim. Büyük İsimler tarafından yayınlanan veya Büyük Kurumlar tarafından desteklenen makalelere daha dikkatli davranırdım. Üst düzey dergilerde saygın kurumlardan 15 üst düzey yazardan oluşan makaleler gördüğümde, ilk içgüdüm aslında makaleyi daha fazla incelemektir , çünkü makalenin yazarların / kurumların etkisinden dolayı yayınlanma olasılığı vardır. Bu makaleler aynı zamanda geniş kapsamlı politika sonuçlarına sahip olma eğilimindedir.
Alanımdan

Yanıtlar:


26

Biyolog veya tıp doktoru olarak istatistikçi olarak yetiştirildim. Fakat biraz tıbbi araştırma yapıyorum (biyologlar ve tıp doktorlarıyla çalışmak), araştırmamın bir parçası olarak birkaç farklı hastalığın tedavisi hakkında biraz öğrendim. Bu, eğer bir arkadaşım araştırdığım bir hastalıktan bahsederse, bu hastalık için yaygın bir şekilde kullanıldığını bildiğim bir ilaç için onlara reçete yazabileceğimi mi ifade ediyor? Bunu yapacak olsaydım (yapmazdım), o zaman birçok durumda muhtemelen işe yarayacaktı (tıp doktoru aynı ilacı reçete edeceği için), ancak her zaman alerjisi / ilacı olma olasılığı var. Bir doktorun sorması gereken, etkileşimde bulunmadığı ve diğerlerinden iyiden çok daha fazla zarara yol açan bir etkileşim.

Neyi varsaydığınızı ve neyin yanlış gidebileceğini (veya bu şeyleri arayacak şekilde bir istatistikçiye danışarak) anlamadan istatistik yapıyorsanız, o zaman istatistiksel yanlış uygulama uygularsınız. Çoğu zaman muhtemelen iyi olacak, peki ya önemli bir varsayımın geçerli olmadığı durum ne olacak, peki onu görmezden gelin.

Oldukça istatistiksel olarak yetkin ve kendi analizlerinin çoğunu yapabilen bazı doktorlarla çalışıyorum, ancak hala beni geçiyorlar. Sık sık, doğru olanı yaptıklarını ve analizi kendileri yapabileceklerini onaylarım (ve onay için genellikle minnettar olurlar) ancak bazen daha karmaşık bir şey yapacaklar ve daha iyi bir yaklaşımdan bahsettiklerinde genellikle analizi tersine çevirecekler bana veya ekibime veya en azından daha aktif bir rol için beni buraya getirin.

Bu yüzden, başlık sorunuza cevabım "Hayır" olarak abartmıyoruz, daha ziyade bazı şeyleri daha fazla vurgulamalıyız.

Düzenle

Bu, Adam'ın aşağıdaki yorumuna dayanan bir ektir (başka bir yorum için biraz uzun sürecek).

Adam, Yorumunuz için teşekkürler. Kısa cevap "bilmiyorum". Makalelerin istatistiksel kalitesinin iyileştirilmesinde ilerleme kaydedildiğini düşünüyorum, ancak işler kaliteyi yakalamak ve garantiye almak biraz zaman alacak kadar farklı yollardan o kadar hızlı hareket etti. Çözümün bir kısmı varsayımlara ve ihlallerin intro istatistik derslerindeki sonuçlarına odaklanıyor. Bunun sınıflara istatistikçiler tarafından öğretildiği zaman gerçekleşmesi daha muhtemeldir, ancak tüm sınıflarda olması gerekir.

Bazı dergiler daha iyi sonuçlar veriyor, ancak belirli bir istatistik uzmanının standart hale geldiğini görmek istiyorum. Birkaç yıl önce bir makale yayınlandı (üzgünüm, referansı kullanamadım, ancak ya JAMA’da ya da New England Tıp Dergisi’nde), yayınlanma olasılığı daha yüksek (ancak olması gerektiği kadar büyük olmasa da) be) JAMA veya NEJM'de, eğer bir biyostatistikan veya epidemiyolog ortak yazarlardan biriyse.

Son zamanlarda ortaya çıkan ilginç bir makale: http://www.nature.com/news/statistics-p-values-are-just-the-tip-of-the-iceberg-1.17412 , aynı konuların bazılarını tartışıyor.


1
Bakış açını paylaşıyorum Greg. Bence cevabınız açıkça açıklıyor. Fakat sizden alıntı yapmak isterim: "[...] o zaman istatistiksel yanlış uygulama yapıyorsunuz. Çoğu zaman muhtemelen iyi olacak". Bu nosyonun yayılması ve insanların bunu şöyle algılaması riski vardır: herkes istatistik yapabilir (bu durum bana biraz soru sorduran, istatistiklerin yüzeyini biraz çizen). Asıl soru, yayınlanan çalışmaların istatistiksel analizler açısından doğru olduğundan nasıl emin olabiliriz? Çünkü orada bir istatistikçiyi geçmeyen kaç makale olduğunu merak etmeye başladım ...
Adam Robinsson

@AdamRobinsson, yukarıdaki ekime bakın.
Greg Snow

Bu oldukça elitist. Profesyonel istatistikçilerin istatistiksel analizler yapma yetkinliğine ve uzmanlığına sahip olabileceği konusunda hemfikirim, ama aynı zamanda bilim adamları da olabilir. Gerçekten de, istatistikteki çığır açan gelişmelerden bazıları, gerçek dünyada istatistikleri uygulayan bilim insanlarından (örn. Fisher & Jeffrey) geldi.
innisfree

İstatistiksel yanlış uygulamayı oluşturan şeyin yalnızca istatistiksel analizin kalitesine veya sonuçlarına değil, aynı zamanda analistlerin istatistik anlayışının gücüne ilişkin öznel yargılara da bağlı olduğunu söylemek
gariptir

@innisfree, yorumlarınızı anlamıyorum veya belki de konumumu anlamıyorsunuzdur. Sadece istatistikçilerin varsayımlara / koşullara bakabildiklerini, sadece önemli olduklarını ve bir istatistikçiye danışılmaları gerektiğini ya da istatistikçi olmayan bilim adamlarının, sayıları kapatmanın ötesinde sorunları anlamak için yeterli istatistik öğrenmesi gerektiğini söylemiyorum. bir formül / bilgisayara. Şahsen ben tıp / mühendislik / vb. Konularında uzmanlığı olan çok daha fazla sayıda istatistik görmeyi isterim.
Greg Snow,

28

Evet, varsayımlar önemlidir - eğer hiç farketmezlerse, onları yapmamız gerekmez, değil mi?

Sorun, ne kadar önemli oldukları - bu, prosedürlere ve varsayımlara ve sonuçlarınız hakkında ne talep etmek istediğinize (ve ayrıca izleyicilerinizin ne kadar toleranslı olduğuna (bu tür iddialarda yanlışlık olsa da) ne kadar toleranslı olduğuna göre değişir.

Dolayısıyla, bir varsayımın kritik olduğu bir durum örneği için, bir F değişkenlik testi normalliği varsayımını göz önünde bulundurun; dağıtımdaki oldukça mütevazı değişikliklerin bile prosedürün özellikleri (gerçek önem düzeyi ve gücü) üzerinde oldukça çarpıcı etkileri olabilir. Gerçekten% 28 seviyesinde olduğunda% 5 seviyesinde bir test yaptığınızı iddia ediyorsanız, bir anlamda deneylerinizi nasıl yaptığınızla ilgili yalan söyleyerek aynı şeyi yapıyorsunuzdur. Eğer böyle istatistiksel konuların önemli olduğunu düşünmüyorsanız, bunlara dayanmayan argümanlar yapın. Öte yandan, istatistiki bilgileri destek olarak kullanmak istiyorsanız, bu desteği yanlış beyan edemezsiniz.

Diğer durumlarda, belirli varsayımlar çok daha az kritik olabilir. Doğrusal bir regresyonda katsayıyı tahmin ediyorsanız ve istatistiksel olarak anlamlı olup olmadığını umursamıyorsanız ve verimliliği umursamıyorsanız, homoskedasticity varsayımının geçerli olup olmaması önemli değildir. Ancak istatistiksel olarak anlamlı olduğunu söylemek veya bir güven aralığı göstermek istiyorsanız, kesinlikle önemli olabilir.


2
Glen_b'in yorumu, istatistiksel yaklaşımdan varsayımların önemine kadar iyi söyleniyor. Bununla birlikte, yayınlanması amacıyla, varsayımların kontrolünün biraz farklı bir mesele olduğunu, varsayımların ihlal edilmesinin, sadece hakemlerin veya editörlerin önemsedikleri kadar önemli olduğunun da belirtilmesi gerektiğini düşünüyorum. Örnek olarak, sonucun arkasındaki teori, yayın için yeterli bir yarar sağlayabilir; bunun umutla, analizle ilgili sorunların gelecekteki yayınlar tarafından çözülebileceğini ummasıdır.
Jonathan Lisic

Hakemler makaleyi kontrol etse bile, hataların sorumluluğu yazarlara aittir. Kendi menfaatine göre, kontrol etmelisiniz ...
kjetil b halvorsen

Aslında, sorumluluk her zaman yazarlara aittir. Ancak bu günlerde yazarlar, nadiren hızlı ve kirli bir şekilde değil, yayınlamaya zorlayan uygunsuz sürücüler tarafından zorlanıyor. En kritik istatistiksel varsayımların ilan edilmesini zorunlu kılan bir inceleme süreci görmek istiyorum. Bugün istatistiksel analizin kitaba göre yapıldığı, ancak ortaktan daha nadir olduğuna inanıyorum.
Adam Robinsson

3
+1 "Soru ne kadar önemli olduğu" - bu aslında tüm konuyu kısaca anlatıyor. İstatistiki çıkarım uygulamasında, belirli istatistiksel varsayımların ne derece ihlal edildiğini bilmek mümkün olmadığını da belirtmeliyim. Analizin yalnızca sağlamlıklarını varsayabilir veya değerlendirebiliriz ve bu istatistiksel uygulamanın temel ancak çoğu zaman gözden kaçan bir yönüdür.
heropup

18

Glen_b harika bir cevap verirken , buna birkaç kuruş eklemek istiyorum.

Bir değerlendirme, sonuçların parlatılmasını ve yaklaşımınızın savunulabilir olup olmadığının tüm ayrıntılarını çözmeyi gerektiren bilimsel gerçeğe ulaşmak isteyip istemediğiniz olup olmadığını, "disiplinimde bu özdeğerleri hiç kimsenin kontrol etmemesini" istemesidir. modu. Başka bir deyişle, iç profesyonel vicdanınıza, yapabileceğiniz en iyi işi yapıp yapmadığınızı sormanız gerekir. Düşük istatistik okuryazarlığına ve düşük disiplininizdeki istatistiksel uygulamalara atıfta bulunmak ikna edici bir argüman yapmaz. Gözden geçirenler, bu lax standartlarıyla aynı disiplinden geliyorlarsa, en üst düzeyde yardımcı olurlar; ancak bazı üst düzey kurumlar , gözden geçirme sürecine istatistiksel uzmanlık getirmek için açık girişimlere sahip olsalar da .

Ancak alaycı bir "yayınla ya da yok ol" salam dilimleyici olsanız bile, diğer husus temel olarak araştırma ününüzün güvenliğidir. Modeliniz arızalanırsa ve bilmiyorsanız, baltayı daha rafine cihazlarla model kontrollerinin çatlaklarına sokabilen ve çürütebilenler tarafından, kendinizi çürütme riskine maruz bırakıyorsunuz. Kabul edilirse, bilim topluluğunun, tekrarlanabilirliğin ve yeniden üretilebilirliğin nominal felsefi gerekliliklerine rağmen, nadiren ortaya çıkma olasılığı, başka birinin araştırmasını çoğaltma girişimlerine nadiren katılmaktadır. (Temel olarak başlayan bir kaç bildiri yazmakla ilgilendim, "Aman Tanrım, gerçekten mi?Bunu yaz? ", ve hakemli bir yayınlanmış yarı-istatistiksel yaklaşımın eleştirisini ve inceliklerini teklif etti.) Ancak, maruz kalınca istatistiksel analizlerin başarısızlığı çoğu zaman büyük ve nahoş sıçramalar yaratıyor.


Bu yaklaşımı gerçekten seviyorum: profesyonel vicdan ve birçoğunun vicdanı olmasına rağmen hala bilgi eksikliği olduğuna inanıyorum; ancak, mükemmel şekilde yapılmış gibi verileri sunmalarını engellemez. İlginç bir şekilde, onu açıkça ortaya koyan bir Bilim makalesine atıfta bulunuyorsunuz: “[...] veri analizindeki temel hataların yayınlanmış araştırmaların çoğunun üretilemezliğine katkıda bulunduğuna dair endişeler yaygın.” Gerçekten meslekten olmayanların, istatistiksel yöntemlerin zorluğuna gerçekten saygı göstermediğimizi ve yukarıda açıklandığı gibi büyüyen bir sorun olması gerektiğini düşünüyorum.
Adam Robinsson

1
Mevcut araştırma grubumda, biz 15 araştırmacı (biyolog, doktor) ve bazıları gerçekten üretken ama hiçbiri istatistikçi değil. Tüm küçük araştırmacılar R veya SAS kurmuşlar ve genellikle internette sadece birkaç ders okuduktan sonra hesaplamalar yapıyorlar. Bu büyük bir konudur.
Adam Robinsson

4
@AdamRobinsson, CV hakkında bu konuda sorduğunuz tek şey vicdanınız hakkında konuşuyor. Bilimsel bilgi işlem ile ilgili biraz ilgili bir konuya (ve yazılım geliştirmedeki en iyi uygulamaların kendi C / Fortran / R kodunu yazan bilim adamları tarafından uygulanamamasına) ilişkin bir başka Nature linkini incelemeniz gerekir - nature.com/news/2010 /101013/full/467775a.html .
StasK

3
Bilim topluluğu olarak, tekrarlanabilirliğin ve yeniden üretilebilirliğin nominal felsefi gereksinimlerine rağmen, nadiren başka birinin araştırmalarını çoğaltma girişimleriyle uğraşıyor , bu ifadeye tamamen katılıyorum.
Robert Smith,

"araştırmacılara temel bilgisayar becerilerini öğretmeye adanmış gönüllü kar amacı gütmeyen bir kuruluş" olan software-carpentry.org oldukça iyi ders ve seminerlere sahiptir.
denis

9

Varsayımların ihlalinin niteliği gelecekteki araştırmalar için önemli bir ipucu olabilir. Örneğin, Cox sağkalım analizinde orantısal-tehlike varsayımının ihlali, kısa süreli sağkalım üzerinde büyük etkisi olan, ancak uzun vadede az etkisi olan bir değişken olabilir. Bu, istatistiksel bir testte varsayımlarınızın geçerliliğini inceleyerek alabileceğiniz beklenmeyen ancak potansiyel olarak önemli bilgilerin türü.

Bu nedenle, sadece varsayımları test etmiyorsanız, sadece literatürü değil, potansiyel bir kötülüğü de kendiniz yaparsınız. Yüksek kaliteli dergiler daha sofistike bir istatistiksel inceleme gerektirmeye başladığında, kendinizi daha sık bunun için çağırıldığını göreceksiniz. İstatistiksel bir gözden geçiricinin ihtiyaç duyduğu bir testin, makalenizin kilit noktası olduğunu düşündüğünüz şeyleri zedeleyen bir konumda olmak istemezsiniz.


Çok önemli olduğunu düşündüğüm bu yoruma tamamen katılıyorum.
Adam Robinsson

9

Ara bakış açısıyla cevap vereceğim. Ben istatistikçi değilim, kimyacıyım. Bununla birlikte, son 10 yılımı kemometri = kimya ile ilgili veriler için istatistiksel veri analizi konusunda uzmanlaşmış olarak geçirdim.

Araştırmacıların istatistiklerini yeterince iyi yapmadıklarına inanıyorum.

Muhtemelen durum budur.


Kısa versiyon:

Şimdi varsayımlar hakkında. IMHO buradaki durum tek bir açıklamada ele almak için çok fazla heterojen. İhlalin zararsız veya kritik olup olmadığına karar vermek için hem uygulamanın tam olarak neye ihtiyaç duyulduğunu hem de uygulama tarafından ihlal edilmesinin muhtemel olduğunu anlamak. Ve bunun için hem istatistik hem de uygulama bilgisine ihtiyaç var.
Bununla birlikte, ulaşılmaz varsayımlarla karşı karşıya olan bir uygulayıcı olarak, başka bir şeye de ihtiyacım var: Örneğin, ihlalin gerçekten sorun yaratıp yaratmadığını veya zararsız olup olmadığını yargılamamı sağlayan "2. bir savunma hattı" istiyorum.


Uzun versiyon:

  • Pratik bir bakış açısıyla, bazı tipik varsayımlar neredeyse hiç karşılanmaz. Bazen verilerle ilgili mantıklı varsayımlar formüle edebilirim, ancak çoğu zaman problemler, çözümlerin henüz bilinmediği istatistiksel açıdan çok karmaşık hale gelir. Şu ana kadar bilim yapmanın, yalnızca sizin özel disiplininizde değil, belki de diğer disiplinlerde (burada: uygulamalı istatistikler) bilinenlerin sınırlarını aşacağınız anlamına geldiğine inanıyorum.

  • Bazı ihlallerin genellikle zararsız olduğu bilinen başka durumlar da vardır - örneğin, LDA'nın optimal olduğunu göstermek için LDA için eşit kovaryansa sahip çok değişkenli normallik gerektiği, ancak projeksiyonun sık sık iyi performans gösteren bir buluşsal yöntemi takip ettiği iyi bilinmektedir. varsayım karşılanmadı. Hangi ihlallerin sorun çıkarması muhtemeldir: Dağıtımdaki ağır kuyrukların LDA ile pratikte sorunlara yol açtığı da bilinmektedir.
    Ne yazık ki, böyle bir bilgi nadiren bir makalenin yoğunlaştırılmış yazımına girmez, bu nedenle okuyucu, yazarın uygulamanın özelliklerini ve modelin yanı sıra ne seçtiklerini dikkate alarak yazarın kendi modeli için karar verip vermeyeceği konusunda hiçbir fikre sahip değildir. rastladılar.

  • Bazen pratik yaklaşımlar (sezgisel tarama), istatistiksel özellikleri anlaşılıncaya kadar on yıllar sürse bile, pratik açıdan çok faydalı olduğu ortaya çıkmaktadır (PLS'yi düşünüyorum).

  • Olan bir diğer şey (ve daha fazla olması gerektiği), ihlalin olası sonuçlarının izlenmesi (ölçülmesi), bu da bir sorun olup olmadığına karar vermeyi sağlar. Uygulama için, belki de modelimin yeterince iyi olduğu sürece optimal olup olmadığını umursamıyorum.
    Kemometride, tahmin üzerine oldukça güçlü bir odağımız var. Bu, modelleme varsayımlarının karşılanmadığı durumlarda çok güzel bir kaçış sunar: Bu varsayımlara bakılmaksızın, modelin iyi çalışıp çalışmadığını ölçebiliriz. Bir uygulayıcının bakış açısına göre, dürüst bir teknoloji harikası validasyon raporu alırsanız ve bildirirseniz, modelleme sırasında istediğiniz her şeyi yapmanıza izin verildiğini söyleyebilirim.
    Spektroskopik verilerin kemometrik analizi için, artıklara bakmadığımız bir noktadayız çünkü modellerin kolayca giydiğini biliyoruz. Bunun yerine, test verisi performansına bakarız (ve muhtemelen eğitim verisi ile performansı öngören fark).

  • Hangi varsayımın ne kadar ihlal edildiğinin kesin olarak tahmin edilemeyeceğimiz, modelin bozulmasına neden olduğu başka durumlar da vardır, ancak varsayımın ciddi ihlallerinin sonuçlarını doğrudan ölçebiliriz.
    Sonraki örnek: Genel olarak ele aldığım çalışma verileri, değişken başına vakalar için tavsiye edilen istatistiksel kuralların (istikrarlı tahminleri garanti etmek için) önerdiği örnek boyutların altındaki büyüklük dereceleridir. Ancak istatistik kitapları bu varsayımın karşılanamaması durumunda uygulamada ne yapılması gerektiği ile ilgilenmez. Bu konuda gerçekten sıkıntı içerisinde olup olmadığınız nasıl ölçülmeli. Ancak: bu tür sorular daha çok uygulanan disiplinlerde ele alınır. Doğrudan, model istikrarını veya en azından tahminlerinizin kararsız olup olmadığını ölçmek oldukça kolaydır (en azından tahmin doğrulama ve model kararlılığı için CV'yi okuyun). Ayrıca dengesiz modelleri stabilize etmenin yolları da var (örneğin torbalama).

  • "2. savunma hattının" bir örneği olarak validasyonun yeniden örneklenmesini ele alalım. Her zamanki ve en güçlü varsayım, tüm vekil modellerin tüm veri seti üzerinde eğitilmiş bir modele eşdeğer olmasıdır. Bu varsayım ihlal edilirse, bilinen kötümser önyargıyı alırız. İkinci satır, en azından taşıyıcı modellerin birbirine eşdeğer olmasıdır, bu nedenle test sonuçlarını toplayabiliriz.


Son fakat en az değil, "müşteri bilimcileri" ve istatistikçileri birbirleriyle daha fazla konuşmaya teşvik etmek istiyorum . İstatistiksel veri analizi IMHO, tek yönlü bir şekilde yapılabilecek bir şey değildir. Bir noktada, her bir tarafın diğer tarafla ilgili biraz bilgi edinmesi gerekecektir. Bazen istatistikçiler ile kimyagerler ve biyologlar arasında “çeviri” ye yardımcı oluyorum. Bir istatistikçi, modelin düzenlileşmeye ihtiyacı olduğunu bilir. Ancak LASSO ile bir sırt arasında seçim yapmak için, verilerin yalnızca kimyager, fizikçi veya biyologların bildiği özellikleri bilmeleri gerekir.


6

Özgeçmişin istatistikçiler ve meraklı olan, uzman olmasa da istatistiklerle ilgili olduğu düşünülürse, varsayımları anlama gereğini vurgulayan tüm cevaplar beni şaşırtmadı. Ayrıca, prensip olarak bu cevaplara katılıyorum.

Ancak, şu anda yayınlanma baskısı ve şu anda istatistiksel bütünlük için düşük standart dikkate alındığında, bu cevapların oldukça saf olduğunu söylemeliyim. Biz (yani varsayımınızı kontrol edin) onlar gün boyu ne yapması gerektiğini söylemem ama ne yapabilirsiniz edecektir yapmak kurumsal teşvikler sadece bağlıdır. OP kendisi, modelin varsayımını anlamadan 20 makale yayınlamayı başardığını belirtir. Kendi tecrübelerime göre, buna inanması zor değil.

Böylece doğrudan OP'nin sorusunu yanıtlayan şeytanın avukatını oynamak istiyorum. Bu, hiçbir şekilde "iyi uygulamaları" destekleyen bir cevap değildir, ancak işlerin nasıl bir hiciv ipucu ile uygulandığını yansıtan bir cevaptır.

Ekstra çabaya değer mi?

Hayır, amaç yayınlamaksa, modeli anlamak için her zaman harcamak buna değmez. Sadece literatürdeki yaygın modeli takip edin. Bu şekilde, 1) makaleniz daha kolay gözden geçirilecek ve 2) “istatistiksel yetersizlik” nedeniyle maruz kalma riski azdır, çünkü sizi ortaya çıkarmak, birçok üst düzey insan da dahil olmak üzere tüm alanı ortaya çıkarmak anlamına gelir.

Yayınlanan tüm sonuçların çoğunluğunun bu varsayımlara saygı göstermemesi ve belki de onları değerlendirmemiş olması muhtemel değil mi? Veritabanları her geçen gün daha da büyüdüğü için bu muhtemelen artan bir sorundur ve verilerin ne kadar büyük, varsayımların ve değerlendirmelerin o kadar az önemli olduğu kanısında.

Evet, yayınlanan sonuçların çoğu doğru olmayabilir. Gerçek araştırmaya ne kadar çok katılırsam, o kadar muhtemel olduğunu düşünüyorum.


1
Bence yukarıda belirtilmeyen çok iyi noktalara sahipsin; yani, yayınlanma baskısı ve dergiler, dergiyi doldurmak için makaleler bulma baskısıdır. Editörlerin yayınlayacak makaleleri olmaması bir kabustur ve araştırmacılar yalnızca var olmaları için yayınlamaları gerekir. Bununla birlikte, metodolojik bir bakış açısıyla, araştırmaya ne kadar çok katılırsam, yayınlanan bulguların çoğunun yanlış / daha az doğru / farklı derecelerde (istatistiksel açıdan) kusurlu olduğuna inanıyorum.
Adam Robinsson

4

Kısa cevap "hayır" dır. İstatistiksel yöntemler, sonuçların geçerli olması için yerine getirilmesi gereken varsayım kümeleri altında geliştirilmiştir. Bu varsayımlar yerine getirilmediği takdirde, sonuç ki, o zaman, nedenle duran edebilir geçerli olmayacaktır. Elbette, bazı tahminler model varsayımlarının ihlal edilmesine rağmen hala güçlü olabilir. Örneğin, multinom logit IIA varsayımını ihlal etmesine rağmen iyi performans gösteriyor gibi görünmektedir (aşağıdaki referansta Kropko'nun [2011] tezine bakınız).

Bilim adamları olarak, sahadaki insanlar varsayımların karşılanıp karşılanmadığını umursamasak bile ortaya koyduğumuz sonuçların geçerli olmasını sağlama yükümlülüğümüz bulunmaktadır. Bunun nedeni, bilimin, bilim adamlarının olayları gerçekleri takip ederken doğru şekilde yapacakları varsayımına dayanmasıdır. Biz güven dergilere dışarı göndermeden önce işlerini kontrol etmek meslektaşlarımızı. Biz güven o yayınlansa önce yetkin bir el yazması yorumlayan hakemleri. Biz varsayalımHem araştırmacıların hem de hakemlerin ne yaptıklarını bilmeleri, böylece hakemli dergilerde yayınlanan makalelerdeki sonuçlara güvenilebilir. Literatürdeki saygın dergilerde başınızı salladığınız ve göze çarpan kiraz sonuçlarında gözlerinizi yuvarladığınız noktalara dayanarak gerçek dünyada bunun her zaman doğru olmadığını biliyoruz (“ Jama bu makaleyi yayınladı ?! ").

Bu yüzden hayır, özellikle insanlar size - uzmana - özen gösterdiğiniz için özen gösterdiğinden dolayı önemi abartılamaz. Yapabileceğiniz en az şey, sonuçların geçerliliğini yorumlamalarına yardımcı olmak için makalenizin "sınırlamalar" bölümünde bu ihlallerden bahsetmektir.

Referans

Kropko, J. 2011. Politik Araştırmalar için Tezsiz Seçim ve Zaman Serisi Kesit Metodolojisine Yeni Yaklaşımlar (tez). UNC-Şapel Tepesi, Şapel Tepesi, NC.


Bu değerli yorumlara katılıyorum. Fakat “içinde” nin “geçersiz” olmayabileceğini düşünmeyin, insanların bu konuda çok fazla rahatsız etmemelerinin nedeni budur. Sadece bir hipotezin varlığının, bu konuyla ilgili analiz yanlılığı yaratabileceğine inanıyorum.
Adam Robinsson

TIL Kropko bir CV kullanıcısıdır.
Monica'yı

@AdamRobinsson, insanların sonuçların nasıl veya neden geçersiz olduğunu tam olarak anlamadıkları için onlarla uğraşmadığını düşünüyorum. Sorunun büyük bir kısmı "uygulamalı" bir alanda istatistik eğitiminde yatmaktadır. Kendi eğitimim uygulamalı bir alanda. Ekonometri-lite derslerim, tam ekonometri dersleri olduğu konusunda hiçbir iddiada bulunmadı ve “gelişmiş araştırma yöntemleri” veya buna benzer bir şey olarak adlandırıldı. İstatistiksel önkoşullar olmadığından, profs, Stata komutlarına daha fazla zaman harcamak ve sonuçların yorumlanmasından yana model varsayımlarını açıklar.
Marquis de Carabas,

@AdamRobinsson, İlk kez yüksek lisans programına başladığımda, aynı zamanda uygulamalı bir alan için de derslerdi; Biyoistatistikçiler model varsayımları ve yapmamız gereken çeşitli kontroller hakkında derinlemesine ders verdiler, çünkü sınıftaki bazı öğrenciler biyoistatistik öğrencileriydi. Ancak, bu sınıflardaki öğrencilerin geri kalanının bu varsayımları neden kontrol ettiğimizi anlamadığı açıktı, çünkü profes öğrencilerin önemini öğrencilerin anladığı bir dilde iletmedi.
Marquis de Carabas,

1
@ marquisdecarabas, kabul etti. Açıkçası onları anlamak değil, temel bir konudur. Bununla birlikte, bazen veri manipülasyonu için harcanan muazzam zamandan kaynaklanmadığını merak ediyorum;
Adam Robinsson

2

Çok gelişmiş istatistiklere ihtiyaç duyuyorsanız, büyük olasılıkla, verileriniz bir psikoloji değil, çoğu sosyal bilimlerde olduğu gibi bir karışıklıktır. İyi verilere sahip olduğunuz alanlarda çok az istatistik gerekir. Fizik çok iyi bir örnek.

Galileo'dan bu alıntıyı ünlü yerçekimi ivmesi deneyi üzerine düşünün:

Yaklaşık 12 küp uzunluğunda, yarım küp genişliğinde ve üç parmak genişliği kalınlığında bir tahta kalıplama veya yayılma parçası alınmıştır; kenarında bir genişlikte bir parmağından biraz daha fazla bir kanal kesildi; bu oluğu çok düz, pürüzsüz ve cilalı hale getirmiş ve parşömenle kaplamış, mümkün olduğu kadar pürüzsüz ve cilalanmış, sert, pürüzsüz ve çok yuvarlak bir bronz top yuvarladık. Bu tahtayı eğimli bir pozisyona yerleştirdikten sonra, bir ucunu diğerinin bir veya iki küpünün üstüne yükselterek, sadece, kanal boyunca, tam olarak istenen zamanı tarif edecek şekilde belirttiğimiz gibi, topu yuvarladık. iniş yapmak için. Süreyi, iki gözlem arasındaki sapmanın nabız atışının onda birini asla geçmeyecek bir doğrulukla ölçmek için bir defadan fazla tekrarladık. Bu işlemi yaptıktan ve güvenilirliği konusunda kendimize güvence verdikten sonra, artık topu kanalın uzunluğunun dörtte birini çevirdik; ve iniş zamanını ölçtükten sonra, tam olarak eski olanın yarısını bulduk. Daha sonra diğer mesafeleri denedik, tüm uzunluk için süreyi yarı yarıya veya üçte iki, dörtte üç ya da gerçekten herhangi bir kesir için olanlarla karşılaştırdık; Bu tür deneylerde, yüzlerce kez tekrarlanan her zaman, geçen alanların birbirlerine kareler gibi birbirlerine ait olduğunu bulduk ve bu, düzlemin, yani kanalın yuvarlandığı kanalın tüm eğimleri için geçerliydi. top. Ayrıca, iniş zamanlarının, düzlemin çeşitli eğimleri için, daha sonra göreceğimiz gibi, tam olarak o orana dayandığını gözlemledik.

Zamanın ölçümü için, yüksek bir konumda yerleştirilmiş büyük bir su kabı kullandık; Bu kabın dibine, her iniş sırasında, kanalın tüm uzunluğu boyunca veya uzunluğunun bir kısmı için, her iniş sırasında küçük bir bardakta topladığımız ince bir su jeti veren küçük bir boru lehimlenmiştir; Bu şekilde toplanan su, her inişten sonra, çok doğru bir dengede tartıldı; bu ağırlıkların farklılıkları ve oranları bize zamanların farklılıklarını ve oranlarını verdi ve bu da operasyonun birçok kez tekrarlanmasına rağmen sonuçlarda kayda değer bir tutarsızlık olmadığı kesinliği ile sağlandı .

Bana göre vurgulanan metni not alın. Bu iyi veridir. İyi bir teoriye dayanan iyi planlanmış bir deneyden gelir. İlgilendiğiniz şeyi çıkarmak için istatistiklere ihtiyacınız yok. O zamanlar istatistik yoktu, bilgisayar yoktu. Sonuç? Hala bir 6. sınıf öğrencisi tarafından evde tutulan ve test edilebilen oldukça temel bir ilişki.

Bu harika sayfadan alıntı çaldım .

χ2


2
“İyi verilere sahip olduğunuz alanlarda çok az istatistik gerekir. Fizik çok iyi bir örnek.” Noktayı görebiliyorum, ancak parçacık fizikçilerinin hem veri bolluğuna sahip olduğunu hem de onları analiz etmek için geniş bir yelpazede gelişmiş istatistiksel teknikler geliştirdiklerini belirtmekte fayda var.
Silverfish,

@ Silverfish, oradaki gelişmiş istatistiklere bir örnek verebilir misiniz? Gördüklerim beni pek etkilemedi. Bence ortalama bir ekonomi doktora öğrencisi, dünya standartlarında parçacık fizikçisinden daha fazla istatistik bilecek. Fizikçilerin gerçekte iyi olduğu şey istatistiksel mekanik gibi şeyler, ama bu "gelişmiş istatistik" dediğimiz şeyden çok farklı. Onların veri kümelerinin akıl almaz olduğuna tamamen katılıyorum, "büyük veriler" sinir bozucu bir vızıltı kelimesi olmadan önce büyük veriye başladılar.
Aksakal

1
Özellikle negatif olamayacak olan parametreler için "güven aralığı" konusunda oldukça ilginç bir deneyime sahipler, bakınız örneğin en.wikipedia.org/wiki/CLs_upper_limits_%28particle_physics%29
Silverfish

(Bir giriş dersinin 1. Gününü parçacık fizikçisi olmak için ihtiyacınız olan tüm istatistiklerin temsilcisi olarak almanızın haksızlık olabileceğini düşünüyorum!)
Silverfish

@Aksakal, benim kişisel anlayışım, Bayesian yöntemlerinin, küçük bir model belirsizliği olduğunda harikalar yarattığını, yani Schrodinger denkleminin size verdiği her ne olursa olsun, bazı 5.000-boyutlu entegrasyondan sonra, sert bilimler olduğunu merak ediyor. İktisatta, deneysel araştırmacıların potansiyel ana model yanlışlıklarına karşı güçlü çıkarımlara odaklanması koşuluyla, Bayesian yaklaşımı zorlukla hayatta kalacaktır. (Ben lisans derecesine göre fizikçiyim, ancak 20+ yıl içinde herhangi bir fizik yapmadım ve şimdiki çalışma hattında nicel bir sosyal bilimciyim.)
StasK

2

Bu soru profesyonel bir bütünlük durumu gibi görünüyor.

Problem şu şekilde görünüyor: (a) yatkın kişiler tarafından istatistiksel analizin yeterince eleştirel değerlendirmesi yok veya (b) istatistiksel bir hatayı tanımlamak için ortak bir bilgi durumu yetersiz mi (Tip 2 bir hata gibi)?

Bu uzmanlık sınırına yakın olduğumda uzmanlık girişi talep edecek uzmanlık alanım hakkında yeterince bilgim var. İnsanların F-testi (ve Excel'de R-kare) gibi şeyleri yeterli bilgi olmadan kullandıklarını gördüm.

Tecrübelerime göre, eğitim sistemleri, istatistiği geliştirme konusundaki istekliliğimize bağlı olarak, araçları aşırı basitleştirdi ve riskleri / limitleri belirledi. Bu, başkalarının yaşadığı ve durumu açıklayacağı ortak bir tema mı?

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.