Panel / boyuna veriler için tahmin değerlendirme metriği

Aylık düzeyde davranış tahminleri sağlayan birkaç farklı modeli değerlendirmek istiyorum. Veriler dengelenmiştir ve 100.000 ve 12. Sonuç belirli bir ayda bir konsere katılmaktadır, bu nedenle herhangi bir ayda insanların ~% 80'i için sıfırdır, ancak ağır kullanıcıların uzun bir sağ kuyruğu vardır. Tahminlerimin sonucun doğasına saygılı görünmüyor: kesirli konserler yaygın. $n=$ $T=$

Modeller hakkında hiçbir şey bilmiyorum. Her kişi için ayda yalnızca 6 farklı kara kutu tahmini . Model yapımcılarının tahmin için sahip olmadığı fazladan bir yıllık verim var (konser katılımcıları aynı kalmasına rağmen) ve her birinin iyi performans gösterdiği yeri (doğruluk ve kesinlik açısından) ölçmek istiyorum. Örneğin, bazı modeller sık sık konser verenler için iyi bir öngörüde bulunuyor, ancak kanepeli patateslerde başarısız oluyor? Ocak tahmini, Aralık tahmininden daha mı iyi? Alternatif olarak, tahminlerin, kesin büyüklüğe güvenilemese bile, gerçekler açısından insanları doğru bir şekilde sıralamama izin verdiğini bilmek güzel olurdu. $\hat y_1,...,\hat y_6$

İlk düşüncem tahmin ve zaman mankenleri ve RMSEs veya bakmak fiili sabit etkiler regresyon çalıştırmak oldu her model için. Ancak bu, her modelin nerede iyi olduğu veya farklılıkların önemli olup olmadığı (RMSE'yi önyüklemediğim sürece) sorusuna cevap vermez. Sonucun dağılımı da bu yaklaşımla beni endişelendiriyor. $R^2$

İkinci fikrim, sonucu 0, 1-3 ve 3+'ye bölmek ve karışıklık matrisini hesaplamaktı, ancak bunlardan 12'sini yapmadıkça bu zaman boyutunu yok sayar. Aynı zamanda oldukça kaba.

concordTJ Steichen ve NJ Cox'un Stata komutlarının farkındayım - bu by()seçenek var, ancak bu verilerin yıllık toplamlara daraltılmasını gerektirecek. Bu, Lin'in Uyum Korelasyon İndeksini diğer yararlı istatistiklerin yanı sıra güven aralıklarıyla hesaplar . CCC -1 ile 1 arasında değişmektedir ve 1'de mükemmel bir anlaşma vardır.

Orada Harrell'in da var (aracılığıyla hesaplanan vardır, R. Newson tarafından) seçeneği, ama emin beni paneli verileri ile uğraşmak sağlayacak değilim. Bu size güven aralıkları verir. Harrell's c, sürekli bir sonuç için ROC eğrisi (AUC) altındaki alanın genelleştirilmesidir. Daha yüksek öngörüye sahip öznenin daha yüksek sonuca sahip olacağı şekilde sipariş edilebilen tüm çiftlerin oranıdır. Böylece rastgele tahminler mükemmel ayırt model. Bkz Harrell'in kitabı , p.493 $c$ somersdcluster $c=0.5$ $c=1$

Bu sorunu nasıl çözersiniz? Tahminlerde yaygın olan MAPE gibi istatistiklerin hesaplanmasını önerir misiniz?

Şimdiye kadar bulunan faydalı şeyler:

Lin'in Uyum Korelasyon Katsayısının tekrarlanan ölçüm versiyonundaki slaytlar

— Dimitriy V. Masterov
kaynak

Davranış hakkında daha fazla bilgi sahibi olmamız gerekecek, sıralı / ikili / sürekli değerli mi? Bu deney boylamsal olduğundan, ilginiz bir bireyin sonuçlarını tahmin etmede veya tahmin etmede yatıyor mu? Karışık efekt modelleri tahmin için değil, çıkarım için kullanılır. Çalışmıyorlar çünkü tahmin etmek için rastgele etki tahminine ihtiyacınız var.

— AdamO

Gerçek davranış sayım veya süreklidir. Tahminlerin hepsi süreklidir. Bireysel seviye aylık tahminlerinin ne kadar iyi olduğunu görmek istiyorum.

— Dimitriy V. Masterov

\hat{Y_{i = 12}} = f (X_{i = 12, 11, \dots, 1}, Y_{i = 11, 10, \dots, 1}

$\widehat{Y_{i=12}} = f(X_{i=12, 11, \cdots, 1}, Y_{i=11, 10, \cdots, 1}$

\hat{Y_{i = I}} = f (X_{i = I, I - 1, \dots, 1}, Y_{i = I - 1, I - 2, \dots, 1}

$\widehat{Y_{i=I}} = f(X_{i=I, I-1, \cdots, 1}, Y_{i=I-1, I-2, \cdots, 1}$

\hat{Y_{i}} = f (X_{i})

$\widehat{Y_{i}} = f(X_{i})$

i

$i$

{\hat{Y}}_{i, 1} = f (Y_{i, t - 1}, X_{i, t}) .

$\hat Y_{i,1}=f(Y_{i,t-1},X_{i,t}).$

{\hat{Y}}_{i, 2} = f ({\hat{Y}}_{i, 1}, X_{i, 2})

$\hat Y_{i,2}=f(\hat Y_{i,1},X_{i,2})$

Y_{i, t}

$Y_{i,t}$

{\hat{Y}}_{i, t}

$\hat Y_{i,t}$

tahmin, bir tahmin modeli için "eğitim" in bir parçası olabilecek parametre tahmini anlamına gelir, ancak örnekleminizin bir tahmin modelini eğitmek için kullanıldığını söylemek istediğinizi düşünüyorum. Burada belirttiğiniz, koşullu bir yarı-markov işlemidir ve öngörmede benzersiz uygulamalara sahiptir.

— AdamO

Yarı Markov tahmininin tahmin kabiliyetini değerlendirmek için, örneklem büyüklüğüne ve diğer mevcut bilgilere bağlı olarak bir dizi yöntem vardır.

Herhangi bir öngörme / tahmin modelini değerlendirmek için, bir modelin bir "eğitim" örneğinde tahmin edildiği çapraz geçerlilik (özellikle bir kerelik veya yinelemeli bölünmüş örnek çapraz validasyonu) seçeneğiniz vardır. örneklem. Sonucun dağılımına bağlı olarak, uygun modeller paneli arasından bir model seçebileceğiniz bir dizi önlem mevcuttur. Model seçimi için parametrik olmayan genel önlemler için, AIC ve BIC'yi, özellikle ikincisini gerçekten sevenler.

CCC ve c-istatistikleri, testler / testler gibi ikili kesitsel tahminleri değerlendirmek için kullanılır, bu nedenle, örneğin BMI veya IQ tahmin ediyorsanız bunları göz ardı etmeniz gerekir. Kalibrasyonu (Hosmer Lemeshow testi gibi) ve risk sınıflandırması kapasitesini ölçer. Orada sürekli sonuçlarla sezgisel bir bağlantı yok, en azından anlayabildiğim kadarıyla değil.

Öte yandan RMSE, sürekli tahminleri değerlendirmek için kullanılır (RMSE'nin Brier skoru, oldukça arkaik ve kullanımdan kaldırılmış bir model değerlendirme aracı olarak adlandırıldığı risk tahmini vakasını kaydedin). Bu mükemmel bir araçtır ve muhtemelen günlük karşılaştığımız tahmin modellerinin% 80'ini kalibre etmek için kullanılır (hava tahminleri, enerji derecelendirmeleri, araçlarda MPG, vb.).

Tahmin modellerini değerlendirmek için bölünmüş örnek doğrulamasında veya yeniden örneklemedeki bir uyarı, yalnızca örneğiniz geçmiş sonuçları tahmin etmenizi bıraktığında gelecekteki sonuçlarla ilgilenebilmenizdir. Bunu yapma! Model uygulamasını yansıtmaz ve seçimi olumsuz yönde büyük ölçüde etkileyebilir. Mevcut tüm bilgileri iletin ve mevcut tüm durumlarda gelecekteki, gözlemlenmemiş sonuçları tahmin edin.

Hemen hemen tüm uygulanan doğrusal modeller kitabı tahmin, RMSE ve eğitim ve onaylama modellerinin nüanslarını kapsayacaktır. İyi bir başlangıç, Kutner, Nachtsheim, Neter, Li, Diggle'ın "Zaman Serisi Analizi", Diggle Heagerty Zeger Li's, "Boyuna Veri Analizi" ve potansiyel olarak Harrell'in "Regresyon Modelleme Stratejileri" ni de dikkate alır.

— Adamo
kaynak

CCC ve Harrell's c sürekli sonuçlarla kullanılabilir. CCC ayrıca tekrarlanan bir tedbir uygulamasına sahiptir. Soruya eklediğim referanslara / bağlantılara bakın.

— Dimitriy V. Masterov

Önemli değil. Sınıflandırmıyorsunuz.

— AdamO