«calibration» etiketlenmiş sorular

Her sınıf için her sınıf için bir olasılık üreten öngörücü bir modelim olduğunu varsayalım. Şimdi, sınıflandırma için bu olasılıkları kullanmak istersem böyle bir modeli değerlendirmenin pek çok yolu olduğunu kabul ediyorum (hassasiyet, hatırlama, vb.). Ayrıca, bir ROC eğrisinin ve altındaki alanın, modelin sınıflar arasında ne kadar iyi farklılaştığını belirlemek için …

23 data-visualization  classification  predictive-models  binary-data  calibration 

Bir güven düzeyini denetimli öğrenme olasılığına göre kalibre etmek için (örneğin, bir SVM'den veya aşırı örneklenmiş veriler kullanarak bir karar ağacından güveni haritalamak için) bir yöntem Platt'ın Ölçeklendirmesini kullanmaktır (örn. Kalibre Edilmiş Olasılıkları Artırmaktan Almak ). Temel olarak haritalamak için lojistik regresyon kullanılır [−∞;∞][−∞;∞][-\infty;\infty] ila [0;1][0;1][0;1] . Bağımlı değişken gerçek …

17 logistic  cross-validation  calibration 

Scikit, modellerimizi belirli bir X, y çiftinde kalibre etmemizi sağlayan CalibratedClassifierCV'ye sahiptir . Ayrıca açıkça belirtiyor kidata for fitting the classifier and for calibrating it must be disjoint. Ayrılmaları gerekiyorsa, sınıflandırıcıyı aşağıdakilerle eğitmek meşru mudur? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) Aynı eğitim setini kullanarak disjoint datakuralı ihlal ettiğimden korkuyorum . …

16 cross-validation  scikit-learn  validation  train  calibration 

Çoklu impütasyondan sonra kalibrasyon grafiklerini / istatistiklerini birleştirme konusunda tavsiye istiyorum. Gelecekteki bir olayı tahmin etmek için istatistiksel modeller geliştirme ortamında (örneğin, hastaneden taburculuk sonrası hayatta kalmayı veya olayları tahmin etmek için hastane kayıtlarından elde edilen verileri kullanma), bazı çok fazla eksik bilginin olduğu hayal edilebilir. Birden fazla itimat, bu …

15 data-visualization  data-imputation  multiple-imputation  pooling  calibration 

Arka plan: Burada, bir sonucun gerçekleşme olasılığını tahmin eden modellerin nasıl kalibre edileceğine dair bazı harika sorular / cevaplar bulunmaktadır. Örneğin Brier puanı ve çözüm, belirsizlik ve güvenilirliğe ayrışması . Kalibrasyon grafikleri ve izotonik regresyon . Bu yöntemler genellikle öngörülen olasılıklar üzerinde bir binning yönteminin kullanılmasını gerektirir, böylece sonucun (0, …

12 probability  predictive-models  binary-data  calibration  scoring-rules 

Test odaklı geliştirme programlıyorum ve yapıyorum. Kodumda bir değişiklik yaptıktan sonra testlerimi yapıyorum. Bazen başarılı olurlar, bazen başarısız olurlar. Bir testi çalıştırmadan önce, testin başarılı olacağına inandığım için 0,01 ile 0,99 arasında bir sayı yazıyorum. Testimin başarılı olup olmayacağını tahmin etmede gelişip iyileşmediğimi bilmek istiyorum. Testin Pazartesi günleri veya Cuma …

10 forecasting  decision-theory  calibration  scoring-rules 

Scikit'te olasılık kalibrasyonu ile ilgili belgeleri öğrenirler, lojistik regresyonu diğer yöntemlerle karşılaştırırlar ve rastgele ormanın lojistik regresyondan daha az iyi kalibre edildiğini belirtirler. Lojistik regresyon neden iyi kalibre edildi? Bir kişi, lojistik regresyonun kalibrasyonunu nasıl mahvedebilir (birinin bir egzersiz olarak istemeyeceği değil)?

9 regression  logistic  calibration