«scoring-rules» etiketlenmiş sorular

Bu, dolaylı olarak burada defalarca sorulan genel bir sorudur, ancak tek bir yetkili cevaptan yoksundur. Referans için bu konuda ayrıntılı bir cevap almak çok iyi olurdu. Tüm sınıflandırmalar arasında doğru sınıflandırmaların oranı olan doğruluk , çok basit ve “sezgisel” bir önlemdir, ancak dengesiz veriler için zayıf bir ölçü olabilir . …

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

Son zamanlarda makine / istatistik öğreniminde "sınıf dengesizliği sorunu" hakkında çok fazla düşündüm ve neler olup bittiğini anlamadığım bir duyguyu daha da derinleştiriyorum. İlk önce, terimlerimi tanımlamama (veya tanımlamaya çalışmama) izin verin: Sınıf dengesizliği bir sorun makinesi / istatistiksel öğrenme 1 sınıflara 0 sınıfların oranı çok eğik olduğu zaman, bazı …

30 classification  predictive-models  unbalanced-classes  scoring-rules 

Sayımı tahmin etmeye çalışan bir modeli çapraz onaylıyorum. Bu ikili bir sınıflandırma problemi olsaydı, katlanma dışı AUC'yi hesaplardım ve bu bir regresyon sorunu olsaydı, katlanma dışı RMSE ya da MAE'yi hesaplardım. Poisson modelinde, örnek dışı tahminlerin "doğruluğunu" değerlendirmek için hangi hata ölçümlerini kullanabilirim? Tahminlerin gerçek değerleri ne kadar iyi sipariş …

29 cross-validation  poisson-distribution  count-data  deviance  scoring-rules 

Merkle & Steyvers (2013) yaz: Resmen uygun bir puanlama kuralı tanımlamak için izin Bernoulli deneme bir olasılık tahmini olmak gerçek bir başarı olasılığı ile . Doğru puanlama kuralları, ise beklenen değerleri en aza indiren metriklerdir .fffdddpppf= pf=pf = p Bunun iyi olduğunu biliyorum çünkü tahmincileri gerçek inançlarını dürüst bir şekilde …

27 classification  forecasting  scoring-rules 

Geçenlerde, rekabet şartlarına göre roc auc puanının kullanıldığı bir Kaggle yarışmasını tamamladım. Bu projeden önce normalde model performansını ölçmek için f1 puanını metrik olarak kullandım. İleride, bu iki ölçüm arasında nasıl seçim yapmalıyım acaba? Ne zaman kullanılır ve hangi avantajları ve dezavantajları nelerdir? BTW, burada makaleyi okudum AUC ve F1 …

26 machine-learning  modeling  roc  scoring-rules 

Uygun puanlama kurallarıyla ilgili çoğu kaynak, log kaybı, Brier puanı veya küresel puanlama gibi farklı puanlama kurallarından bahseder. Ancak, genellikle aralarındaki farklar hakkında çok fazla rehberlik yapmazlar. (Sergi A: Vikipedi .) Logaritmik skoru maksimize eden modelin seçilmesi, logaritmik skorlamanın kullanılması için iyi bir argüman gibi görünen maksimum olabilirlik modelinin seçilmesine …

22 machine-learning  classification  model-selection  theory  scoring-rules 

İlk olarak, sonuçların olasılığını verir. Örneğin ABD seçimleri için tahminleri şu anda% 82 Clinton vs% 18 Trump. Şimdi, Trump kazansa bile, kazanması gereken zamanın sadece% 18'i olmadığını nasıl bilebilirim? Diğer sorun ise olasılıklarının zaman içinde değişmesidir. 31 Temmuz'da Trump ve Clinton arasında neredeyse 50-50 idi. Sorum şu, aynı sonuca sahip …

19 forecasting  prediction  validation  accuracy  scoring-rules 

Uygun bir puanlama kuralı, 'gerçek' bir model tarafından en üst düzeye çıkarılan bir kuraldır ve sistemin 'korunmasına' veya oyun oynamaya izin vermez (modelin skoru iyileştirmek için gerçek inancı olduğu gibi kasıtlı olarak farklı sonuçları bildirmek). Brier skoru doğru, doğruluk (oran doğru olarak sınıflandırıldı) uygun değil ve genellikle cesaret kırılıyor. Bazen …

16 classification  references  roc  measurement-error  scoring-rules 

Son zamanlarda olasılık sınıflandırıcıları için uygun puanlama kurallarını öğreniyorum. Bu web sitesindeki bazı konular, doğruluğun uygun olmayan bir puanlama kuralı olduğunu ve lojistik regresyon gibi olasılıklı bir model tarafından üretilen tahminlerin kalitesini değerlendirmek için kullanılmaması gerektiğini vurgulamaktadır. Ancak, okuduğum oldukça az sayıda akademik makale, bir ikili sınıflandırma ortamında (katı olmayan) …

13 probability  accuracy  scoring-rules 

Arka plan: Burada, bir sonucun gerçekleşme olasılığını tahmin eden modellerin nasıl kalibre edileceğine dair bazı harika sorular / cevaplar bulunmaktadır. Örneğin Brier puanı ve çözüm, belirsizlik ve güvenilirliğe ayrışması . Kalibrasyon grafikleri ve izotonik regresyon . Bu yöntemler genellikle öngörülen olasılıklar üzerinde bir binning yönteminin kullanılmasını gerektirir, böylece sonucun (0, …

12 probability  predictive-models  binary-data  calibration  scoring-rules 

Dünün sorusu Olayın olasılığını tahmin eden modelin doğruluğunu belirle, olasılık skorlaması hakkında beni meraklandırdı. Brier skoru olan bir ortalama karesel hata ölçüsü. Benzer ortalama mutlak hata performansı ölçüsü senin de bir ismin var mı?11N-Σi = 1N-( p r e di c t i o nben- r e fe r e …

12 classification  error  validation  scoring-rules  brier-score 

Bir olayı a ve b olmak üzere iki sonucu modelleniyorum. A veya b'nin gerçekleşme olasılığını tahmin eden bir model oluşturdum (yani model, a'nın% 40 şansla olacağını ve b'nin% 60 şansla olacağını hesaplayacaktır). Modelden tahminler ile yapılan çalışmaların sonuçları hakkında büyük bir kaydım var. Modelin bu verileri ne kadar doğru kullandığını …

12 predictive-models  scoring-rules 

Test odaklı geliştirme programlıyorum ve yapıyorum. Kodumda bir değişiklik yaptıktan sonra testlerimi yapıyorum. Bazen başarılı olurlar, bazen başarısız olurlar. Bir testi çalıştırmadan önce, testin başarılı olacağına inandığım için 0,01 ile 0,99 arasında bir sayı yazıyorum. Testimin başarılı olup olmayacağını tahmin etmede gelişip iyileşmediğimi bilmek istiyorum. Testin Pazartesi günleri veya Cuma …

10 forecasting  decision-theory  calibration  scoring-rules 

Örnekler: İş tanımında bir cümle var: "İngiltere'de Java kıdemli mühendisi". Derin bir öğrenme modelini 2 kategori olarak tahmin etmek istiyorum: English ve IT jobs. Geleneksel sınıflandırma modeli kullanırsam, sadece softmaxson katmanda işlevli 1 etiket tahmin edebilir . Bu nedenle, her iki kategoride "Evet" / "Hayır" ı tahmin etmek için 2 …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

Bir sınıflandırma probleminin çözümü için tipik bir yaklaşım, bir aday model sınıfını tanımlamak ve daha sonra çapraz doğrulama gibi bir prosedür kullanarak model seçimi yapmaktır. Tipik olarak, en yüksek doğruluktaki modeli veya gibi soruna özgü bilgileri kodlayan ilgili bir işlevi seçer .FβFβ\text{F}_\beta Nihai hedefin, doğru bir sınıflandırıcı (doğruluk tanımının tekrar …

9 machine-learning  model-selection  error  scoring-rules