Geçen hafta Faraway'in R (1. baskı) ders kitabı doğrusal modellerini okuyordum . Faraway'in "İstatistiksel Strateji ve Model Belirsizliği" adlı bir bölümü vardı. O yapay bir çok karmaşık model kullanılarak bazı verileri oluşturduğunu (sayfa 158) açıklanan, sonra veriyi modellemek ve öğrencileri tahmin sonuçları karşılaştırmak için öğrencilerini istedi vs okuma sonuçları. Ne yazık ki, çoğu öğrenci test verilerini aşırı derecede uydurdu ve tahmin edilen değerleri tamamen işaretsiz verdi. Bu fenomeni açıklamak için bana çok etkileyici bir şey yazdı:
"Modellerin bu kadar farklı olmasının nedeni, öğrencilerin çeşitli yöntemleri farklı düzenlerde uygulamış olmalarıydı. Bazıları dönüşümden önce değişken seçimi, diğerleri ise tersini yaptı. Bazıları model değiştirildikten sonra bir yöntem tekrarladı, diğerleri yapmadı. Stratejileri aştım. Bu kullanılan öğrencilerin çeşitli ve açıkça yanlış bir şey bulamadı ne yaptığını ile. bir öğrenci hesaplamada bir hata yapmış özel hayatının değerlerini tahmin ama geri kalanında tabii ki yanlış bir şey yoktu. Bu ödev performans göstermemiştir sınavlarda bununla herhangi bir ilişki. "
Model tahmin doğruluğunun, en iyi model performansını seçmemiz için 'altın kriter' olduğu konusunda eğitildim. Yanılmıyorsam, bu aynı zamanda Kaggle yarışmalarında kullanılan popüler yöntemdir. Ancak burada Faraway, farklı bir şey gözlemledi, model tahmin performansının hiçbir şey yapamayacağınıilgili istatistikçinin yeteneği ile. Başka bir deyişle, öngörücü güç açısından en iyi modeli yapıp yapamayacağımız, gerçekten ne kadar deneyimli olduğumuzla belirlenmez. Bunun yerine büyük bir 'model belirsizliği' (kör şans?) İle belirlenir. Sorum şu: bu gerçek hayattaki veri analizinde de geçerli mi? Yoksa çok temel bir şeyle kafam karıştı mı? Bu doğruysa, o zaman gerçek veri analizinin anlamı çok büyüktür: verinin arkasındaki "gerçek modeli" bilmeden, deneyimli / deneyimsiz istatistikçilerin yaptığı çalışmalar arasında temel bir fark yoktur: her ikisi de mevcut eğitim verileri.