önsöz

Bu uzun bir yazı. Bunu tekrar okuyorsanız, arka plan materyali aynı kalmasına rağmen, soru bölümünü gözden geçirdiğimi lütfen unutmayın. Ek olarak, soruna bir çözüm geliştirdiğime inanıyorum. Bu çözüm gönderinin altında görünür. Özgün çözümümün (bu yazıdan düzenlenmiş; bu çözüm için düzenleme geçmişine bakın) mutlaka yanlı tahminler ürettiğine işaret ettiği için CliffAB sayesinde.

Sorun

Makine öğrenmesi sınıflandırma problemlerinde, model performansını değerlendirmenin bir yolu ROC eğrilerini veya ROC eğrisi altındaki alanı (AUC) karşılaştırmaktır. Bununla birlikte, ROC eğrilerinin değişkenliği veya AUC tahminleri hakkında çok küçük bir tartışma olduğuna dair gözlemim; yani, verilerden hesaplanan istatistiklerdir ve bu nedenle bunlarla ilişkili bazı hatalar vardır. Bu tahminlerde hatanın tanımlanması, örneğin bir sınıflandırıcının gerçekten diğerinden üstün olup olmadığını karakterize etmeye yardımcı olacaktır.

Bu sorunu gidermek için, Bayesian ROC eğrilerinin analizini dediğim aşağıdaki yaklaşımı geliştirdim. Sorun hakkında düşüncemde iki önemli gözlem var:

1. ROC eğrileri verilerden tahmin edilen miktarlardan oluşur ve Bayesian analizine uygundur.

   ROC eğrisi, gerçek pozitif oran nın her biri verilerden hesaplanan yanlış pozitif oran karşı çizilmesiyle oluşur . Ben düşünün ve fonksiyonlarını (bir lojistik regresyon vb SVM bir altdüzlemden rastgele ormanda ağaç oy mesafe, tahmini olasılığı), karar B'den sıralama sınıfı A'ya kullanılan eşik. Karar eşiğinin değerini değiştirmek için farklı ve tahminleri verecektir . Dahası, göz önünde bulundurabilirizF P R ( θ ) T P R F P R θ θ T P R F P R , T P R ( θ $TPR(\theta)$$FPR(\theta)$$TPR$$FPR$$\theta$$\theta$$TPR$$FPR$$TPR(\theta)$Bernoulli denemelerinin bir dizisindeki başarı olasılığının bir tahmini olmak. Aslında, TPR bu, aynı zamanda, başarıları ve toplam denemeleriyle yapılan bir deneyde binom başarı olasılığının .TPTP+FN>$\frac{TP}{TP+FN},$$TP$$TP+FN>0$

   Bu yüzden ve nın çıktısını rastgele değişkenler olarak değerlendirdiğimizde, başarı ve başarısızlıkların tam olarak bilindiği bir binom deneyinin başarı olasılığını tahmin etme problemiyle karşı karşıya kalıyoruz (verilen tarafından , , ve I) tüm sabit olduğunu varsayıyorum. Geleneksel olarak, biri basitçe MLE'yi kullanır ve TPR ve FPR'nin belirli değerleri için sabit olduğunu varsayar.F P R ( θ ) T P F P F N T N θ $TPR(\theta)$$FPR(\theta)$$TP$$FP$$FN$$TN$$\theta$. Ancak, Bayesian ROC eğrileri analizinde, ROC eğrileri üzerindeki posterior dağılımdan örnekler çizerek elde edilen ROC eğrilerinin arka simülasyonlarını çiziyorum. Bu problem için standart bir Bayesan modeli, başarı olasılığından önce beta ile ikili bir olasılıktır; başarı olasılığındaki posterior dağılım da beta, yani her bir , TPR ve FPR değerlerinin posterior dağılımına sahibiz. Bu bizi ikinci gözlemime getiriyor.$\theta$

2. ROC eğrileri azalmıyor. Dolayısıyla, bir miktar ve değeri örneklendikten sonra, örneklenen noktanın "güneydoğusundaki" ROC alanında bir noktayı örnekleme olasılığı sıfırdır. Fakat şekil kısıtlı örnekleme zor bir problemdir.F P R ( θ $TPR(\theta)$$FPR(\theta)$

Bayesian yaklaşımı, çok sayıda AUC'yi tek bir tahmin setinden simüle etmek için kullanılabilir. Örneğin, 20 simülasyon orijinal verilere kıyasla bu şekilde görünüyor.

Bu yöntemin bir takım avantajları vardır. Örneğin, bir modelin AUC'sinin diğerinden daha büyük olma olasılığı, posterior simülasyonlarının AUC'lerini karşılaştırarak doğrudan tahmin edilebilir. Varyans tahminleri, yeniden örnekleme yöntemlerinden daha ucuz olan simülasyon yoluyla elde edilebilir ve bu tahminler yeniden örnekleme yöntemlerinden kaynaklanan korelasyonlu örnekler sorununu ortaya çıkarmaz.

Çözüm

Yukarıda belirtilenlerin yanı sıra, sorunun niteliği hakkında üçüncü ve dördüncü bir gözlem yaparak bu soruna bir çözüm geliştirdim.

3. F P R ( θ $TPR(\theta)$ ve , simülasyona uygun marjinal yoğunluklara sahiptir.$FPR(\theta)$

   Eğer (yardımcısı ) parametreleri ile bir beta-dağıtılmış rastgele değişkendir ve (yardımcısı ve ), biz de TPR yoğunluğu birkaç farklı değerler üzerinde ortalama ne düşünebiliriz analizimize karşılık gelen . Yani, örneklem dışı model tahminlerimizin elde ettiği değerleri koleksiyonundan bir değerini örnekleyen ve daha sonra bir değeri örnekleyen hiyerarşik bir süreci düşünebiliriz. . Elde edilen örnekleri üzerinde bir dağılımF P R ( θ ) T P F N F P T N θ ˜ θ θ T P R ( ˜ θ ) T P R ( ˜ θ ) θ T P R ( θ ) c θ 1 /$TPR(\theta)$$FPR(\theta)$$TP$$FN$$FP$$TN$$\theta$$\tilde{\theta}$$\theta$$TPR(\tilde{\theta})$$TPR(\tilde{\theta})$değerler, üzerinde koşulsuz olan gerçek pozitif oranın yoğunluğudur . Çünkü için bir beta model varsayıyoruz , sonuçta elde edilen dağılım, beta dağılımlarının bir karışımı , koleksiyonumuzun büyüklüğüne eşit , ve karışım katsayılarının bir karışımı .$\theta$$TPR(\theta)$$c$$\theta$$1/c$

   Bu örnekte, TPR'de aşağıdaki CDF'yi elde ettim. Özellikle, parametrelerden birinin sıfır olduğu beta dağılımlarının dejenerasyonu nedeniyle, karışım bileşenlerinin bazıları 0 veya 1'de Dirac delta işlevidir. Bu, 0 ve 1'deki ani yükselmelere neden olan şeydir. Bu yoğunluklar ne sürekli ne de ayrık değildir. Her iki parametrede de pozitif olan bir öncelik seçimi, bu ani yükselmeleri (gösterilmemiştir) "düzgünleştirme" etkisine sahip olacaktır, ancak ortaya çıkan ROC eğrileri öncekine doğru çekilecektir. Aynı şey FPR için de yapılabilir (gösterilmemiştir). Marjinal yoğunluktan numuneler çizmek ters dönüşüm örneklemesinin basit bir uygulamasıdır.

4. Şekil kısıtlaması gereksinimini çözmek için, sadece TPR ve FPR'yi bağımsız olarak sıralamamız gerekir.

   Azalmayan gereksinim, TPR ve FPR'den alınan marjinal örneklerin bağımsız olarak sıralanması gerekliliği ile aynıdır - yani ROC eğrisinin şekli, en küçük TPR değerinin en küçük FPR ile eşleştirilmesi şartı ile tamamen belirlenir. değer ve benzeri, bu, şekli kısıtlı rastgele bir örneğin yapısının burada önemsiz olduğu anlamına gelir. Daha önce uygunsuz simülasyonlar, bu şekilde bir ROC eğrisi oluşturmanın, çok sayıda numune sınırında orijinal AUC'ye yakınlaşan ortalama AUC'li örnekler ürettiğine dair kanıtlar sağlar. Aşağıda 2000 simülasyonunun bir KDE'si var.$\text{Beta}(0,0)$

Bootstrap ile Karşılaştırma

@AdamO ile uzun bir sohbet görüşmesinde (teşekkürler, AdamO!), İki ROC eğrisini karşılaştırmak ya da aralarında tek bir ROC eğrisinin değişkenliğini karakterize etmek için çeşitli başlangıç ​​yöntemleri olduğunu belirtti. Bu yüzden bir deney olarak , çıkma kümesinde gözlem olan örneğimi önyüklemeye ve sonuçları Bayesian yöntemiyle karşılaştırmaya çalıştım . Sonuçlar aşağıda karşılaştırılmıştır (Buradaki önyükleme uygulaması basit önyüklemedir - orijinal örneğin boyutuyla değiştirilerek rastgele örnekleme. Önyükleme okumalarına ilişkin cursory okuma, yeniden örnekleme yöntemleri hakkındaki bilgilerimde önemli boşluklar ortaya çıkarmaktadır, bu yüzden belki de bu bir uygun yaklaşım.)$n=20$

Bu gösterim, önyükleme ortalamasının orjinal örnek ortalamasının altında bastırıldığını ve önyükleme parçasının KDE'sinin iyi tanımlanmış "kıskaçlar" verdiğini göstermektedir. Bu humps'ın oluşumu pek gizemli değildir - ROC eğrisi her noktanın dahil edilmesine karşı hassas olacaktır ve küçük bir örneğin etkisinin (burada, n = 20) etkisi, altta yatan istatistiğin her birinin dahil edilmesine karşı daha duyarlı olmasıdır. puan. (Kesinlikle, bu desen, çekirdek bant genişliğinin bir eseri değildir - halı grafiğine dikkat edin. Her şerit, aynı değere sahip birkaç önyükleme kopyasıdır. Önyükleme, 2000 kopyaya sahiptir, ancak farklı değerlerin sayısı açıkça daha azdır. humps'ın bootstrap prosedürünün kendine özgü bir özelliği olduğu sonucuna varabilir.) Buna karşılık, ortalama olarak Bayesian AUC tahminleri, orijinal tahminlere çok yakın olma eğilimindedir,

Soru

Gözden geçirilmiş sorum, değiştirilen çözümümün yanlış olup olmadığıdır. İyi bir cevap, ortaya çıkan ROC eğrilerinin örneklerinin önyargılı olduğunu kanıtlar (veya kanıtlamaz) ya da benzer şekilde bu yaklaşımın diğer özelliklerini kanıtlar veya kanıtlar.

Öncelikle, bir ROC eğrisini "analiz etmenin" kabul edilmiş bir yolu yoktur: bu sadece bir sınıflandırma modelinin yordayıcı kabiliyetini gösteren bir grafiktir. Kesinlikle c-istatistik ya da AUC kullanarak, ancak güven aralıkları hesaplanarak ve kullanan çıkarımlar yapan bir ROC eğrisi özetleyebilir iyi Wilcoxon U-istatistik ile ilişkisi nedeniyle anlaşılmaktadır -İstatistik.$c$

ROC eğrilerindeki değişkenliği, Pepe Etzione Feng önyüklemesini kullanarak tahmin edebileceğiniz oldukça iyi kabul edilir . Bu iyi bir yaklaşım çünkü ROC eğrisi ampirik bir tahmin ve önyükleme parametresi parametrik değil. Böyle bir şekilde herhangi bir şeyi parametreleştirmek, " aslında gerçekten bilgilendirici olmayan bir yassı mı?" Gibi varsayımlar ve komplikasyonlar doğurur. Buradaki durumun bu olduğuna ikna olmadım.

Son olarak, sözde ihtimal meselesi var. ROC eğrilerinde değişkenliği , tüm ROC kullanımında, tipik olarak rastgele bir değişken olarak kabul edilmeyen tek şey olan ya koyarak koyarak yapabilirsiniz . Daha sonra değişkenliğe neden olduğu TPR ve FPR içinde değişkenlik olduğunu varsaydım olan bağımsız . Onlar değil. Aslında tamamen bağımlılar. Kilonuz ve pound olarak kendi kilonuz için bir Bayesian posteri hesaplayarak ve birbirlerine bağlı olmadıklarını söyleyerek sıralıyorsunuz.$\theta$$\theta$

Örnek olarak, kusursuz ayrımcılığa sahip bir model alın . Yönteminizi kullanarak, güven bandlarının birim kare olduğunu göreceksiniz. Onlar değil! Mükemmel ayrımcılığa sahip bir modelde değişkenlik yoktur. Bir bootstrap size bunu gösterecektir.

Eğer biri ROC "analizi" konusuna Bayes bakış açısıyla yaklaşacak olsaydı, analiz için kullanılan modellerin alanını ön plana koyarak model seçimi sorununu ele almak belki de en faydalı olacaktır. Bu çok ilginç bir problem olurdu.