İstatistiklerle ilgili olarak kötü istatistiksel uygulamaları yayan çok alıntılanmış makaleler var mı?

İstatistiksel yöntemleri kötüye kullanmanın pek çok yolu vardır. Daha sonra tekrar tekrar atıfta bulunulan saygın akademik dergilerde, ilk olarak açık tavsiye olarak yayınlanan (örneğin, "bu yöntemi ... için kullanmalısınız") kötü istatistik uygulama örneklerini biliyor musunuz?

Örnek olarak, genellikle lojistik veya Cox PH regresyon modelleri ( LINK ) için çağrılan her tahmin kuralı başına 10 olay olabilir .

Açıkça söylemek gerekirse, kötü istatistik yöntemlerini kullanan yüksek atıfta bulunan kağıtlar demek istemiyorum - maalesef bunlar çok yaygın.

RA Fisher, "Saha Deneylerinin Düzenlenmesi". İngiltere Tarım Bakanlığı Dergisi. 33: 503-513. 1926.

$\alpha = 0.05$

... çizgiyi söyleyebileceğimiz seviyede çizmek uygundur: "Ya tedavide bir şey var ya da yirmi denemede birden fazla meydana gelmeyen bir tesadüf meydana geldi."

... Yirmi kişiden biri yeterince yüksek görünmüyorsa, eğer bunu tercih edersek çizgiyi elli birinde (yüzde 2 noktası) ya da yüz birinde (yüzde 1 noktası) çizebiliriz. Şahsen, yazar yüzde 5 noktasında düşük bir önem standardı belirlemeyi ve bu seviyeye ulaşamayan tüm sonuçları tamamen görmezden gelmeyi tercih ediyor . Bilimsel bir gerçek, ancak uygun şekilde tasarlanmış bir deney nadiren bu düzeyde bir önem vermezse, deneysel olarak kurulmuş kabul edilmelidir.

Ekonometride, iyi dergilerde yayınlanan iyi bilinen (ve çok yetenekli) ekonometristlerin yayılmış yöntemlere kesinlikle bir örnek bulabilirsiniz. Teorik bir makalenin farkında değilim, ancak Lalonde (1986) şu anda kullanılan yöntemlerin iyi olmadığını belirtmekle ünlüdür: Aynı veri seti deney yöntemlerini gözlemsel olanlarla karşılaştırır ve (nedensel) tedavi alanında büyük farklılıklar bulur. değerlendirme . O zamanlar kullanılmakta olan ve günümüzde hala kullanılmakta olan bu deneysel olmayan yöntemleri çoğaltan geniş bir literatür vardır.

Daha sonra, eğilim skoru eşleşmesinin olası bir çözüm olup olmadığı konusunda bir tartışma vardı (ve hala öyle olduğunu düşünüyorum) (örneğin buraya bakın ).

Ayrıca, enstrümantal değişken kestirimi hakkında birçok tartışma vardır . Atıfta bulunulan orijinal makalelerin sonuçları tartışmalıdır. Bu muhtemelen sorunuza en yakın örnektir. Bound ve Jaeger (1996 ve sonraki makaleler), temelde uygulanan ekonometri literatüründe enstrümantal değişken yöntemini kuran Angrist ve Krueger'den (1991; Google Scholar'a göre 2700 alıntı) tanınan makalenin bulgularını sorgulamıştır .

Ayrıca, azaltılmış form tahminlerinin nedensellik oluşturmak için uygunluğu hakkında büyük tartışmalar vardır , bkz. Örneğin Imbens (2010) .

Başka bir büyük konu elbette standart hata ile ilgilidir. Belki de p-değerlerini yayan iyi bilinen bir kağıt bulunabilir. Ekonometride, daha uzun zaman serileri için standart hata, mevcut yanlış yöntemler nedeniyle sıklıkla yanlış hesaplanır ( fark farkı tasarımında ), buraya bakın . Bununla birlikte, bu bağlamda bu yöntemleri öneren, alıntılanan orijinal bir makalenin farkında değilim, ancak bu alanda bazı örnekler bulacağınızdan eminim.

Kaynaklar:

Angrist, Joshua D. ve Alan B. Keueger. "Zorunlu okula devam, okullaşma ve kazancı etkiler mi?" Üç Aylık Ekonomi Dergisi 106, no. 4 (1991): 979-1014'te açıklanmaktadır.

Bertrand, Marianne, Esther Duflo ve Sendhil Mullainathan. "Farklılıklardaki farklılık tahminlerine ne kadar güvenmeliyiz?" Üç Aylık İktisat Dergisi 119, no. 1 (2004): 249-275'te açıklanmaktadır.

Bağlı, John ve David A. Jaeger. Ücret Denklemlerinde Bir Enstrüman Olarak Doğum Sezonunun Geçerliliği: Angrist & Krueger'in “Zorunlu Okula Devam Edilmesi Okulu No. W5835'i Etkileyen Bir Yorum. Ulusal Ekonomik Araştırma Bürosu, 1996.

Dehejia, Rajeev. "Pratik eğilim skor eşleştirme: Smith ve Todd bir cevap." Ekonometri Dergisi 125, no. 1-2 (2005): 355-364.

Imbens, Guido W. "Hiçbir şeyden daha iyi GEÇ: Deaton (2009) ve Heckman ve Urzua (2009) hakkında bazı yorumlar." İktisat Edebiyatı Dergisi 48, no. 2 (2010): 399-423'te açıklanmaktadır.

LaLonde, Robert J. "Eğitim programlarının ekonometrik değerlendirmelerinin deneysel verilerle değerlendirilmesi." Amerikan ekonomik incelemesi (1986): 604-620. *

Deniyorum (çok güçlü olmasa da):

Çok yararlı [Cameron, AC ve Miller, DL (2015). Bir uygulayıcının küme sağlam çıkarım için kılavuzu. Journal of Human Resources, 50 (2), 317-372.] // zaten 1900 Google akademik atıfları // standart hataların uygun kümelenme düzeyine ilişkin öneriler sunar:

"Konsensüs, muhafazakâr olmak ve önyargıyı önlemek ve mümkün olduğunca çok sayıda kümeye sahip olmakla ilgili kaygıların olduğu noktaya kadar dahil olmak üzere daha büyük ve daha büyük kümeler kullanmaktır."

Bununla birlikte, [Abadie, A., Athey, S., Imbens, GW ve Wooldridge, J. (2017). Kümeleme için standart hataları ne zaman ayarlamalısınız? (No. w24003). Ulusal Ekonomik Araştırma Bürosu.] "Aslında kümelenmede çok fazla bir düzeyde zarar olduğunu" göstermektedir. Lütfen daha sonra gelen 1. sayfaya bakın: https://economics.mit.edu/files/13927

Belki de Abadie ve ark.'nın (2017) vurguladığı iki yanlış anlamadan başlayarak daha taş bir dava yapabilirsiniz.