Çapraz onaylı sınıflandırma doğruluğu için güven aralığı

İki giriş x-ray görüntüleri arasında benzerlik metriği hesaplayan bir sınıflandırma sorunu üzerinde çalışıyorum. Görüntüler aynı kişiden geliyorsa ('sağ' etiketi), daha yüksek bir metrik hesaplanır; iki farklı kişinin giriş görüntüleri ('yanlış' etiketi) daha düşük bir metrikle sonuçlanır.

Yanlış sınıflandırma olasılığını hesaplamak için tabakalı 10 kat çapraz doğrulama kullandım. Şu anki örnek boyutum yaklaşık 40 doğru eşleşme ve 80 yanlış eşleme, burada her veri noktası hesaplanan metrik. 0.00 olarak yanlış sınıflandırma olasılığı alıyorum, ancak bu konuda bir çeşit güven aralığı / hata analizine ihtiyacım var.

Ben binomial oran güven aralığını (burada benim başarı sayısı için doğru etiketleme veya yanlış etiketleme olarak çapraz doğrulama sonuçlarını kullanmak istiyorsunuz) kullanarak bakıyordu. Bununla birlikte, binom analizi arkasındaki varsayımlardan biri her deneme için aynı başarı olasılığıdır ve çapraz validasyonda 'doğru' veya 'yanlış' sınıflandırmasının arkasındaki yöntemin, aynı başarı olasılığı.

Düşünebileceğim diğer tek analiz, çapraz doğrulama X kez tekrarlamak ve sınıflandırma hatasının ortalama / standart sapmasını hesaplamaktır, ancak verileri benim birkaç kez nispeten küçük numune boyutu.

Düşüncesi olan var mı? Tüm analizlerim için MATLAB kullanıyorum ve İstatistikler araç kutum var. Her türlü yardımı takdir ediyorum!

Farklı vekil modellerin öngörülerinde istikrarsızlığın etkisi

Bununla birlikte, binom analizi arkasındaki varsayımlardan biri her deneme için aynı başarı olasılığıdır ve çapraz validasyonda 'doğru' veya 'yanlış' sınıflandırmasının arkasındaki yöntemin, aynı başarı olasılığı.

Genellikle bu eşitlik, farklı vekil modellerin sonuçlarını bir araya getirmenize izin vermek için gereken bir varsayımdır.

Uygulamada, bu varsayımın ihlal edilebileceği sezgileriniz çoğu zaman doğrudur. Ancak durumun böyle olup olmadığını ölçebilirsiniz. Burada yinelenen çapraz doğrulamayı yararlı bulduğum yer: Farklı vekil modeller tarafından aynı durum için tahminlerin istikrarı, modellerin eşdeğer (kararlı tahminler) olup olmadığını yargılamanıza izin verir.

$k$

$i \cdot k$

Ayrıca her bir yineleme için performansı hesaplayabilirsiniz (çizimde 3 satırlık blok). Bunlar arasındaki herhangi bir fark, vekil modellerin (birbirlerine ve ayrıca tüm durumlarda inşa edilen "büyük model" e eşdeğer olduğu varsayımının karşılanmadığı anlamına gelir. Ancak bu aynı zamanda ne kadar dengesizliğe sahip olduğunuzu da gösterir. Binom oranı için, gerçek performans aynı olduğu sürece (yani her zaman aynı vakaların yanlış tahmin edilip edilmediğinden veya aynı sayı ancak farklı vakaların yanlış tahmin edilip edilmediğinden bağımsız) düşünüyorum. Yedek modellerin performansı için belirli bir dağılımı makul bir şekilde kabul edip edemeyeceğini bilmiyorum. Ancak, bu dengesizliği rapor ederseniz, her durumda yaygın olarak sınıflandırma hatalarının raporlanmasına göre bir avantaj olduğunu düşünüyorum.$k$$k$

$\ll$
$n$$k$$i$

Çizim, şek. Bu yazıda 5: Beleites, C. & Salzer, R .: Küçük örnek boyutu durumlarında kemometrik modellerin kararlılığının değerlendirilmesi ve geliştirilmesi, Anal Bioanal Chem, 390, 1261-1271 (2008). DOI: 10.1007 / s00216-007-1818-6 Makaleyi
yazdığımızda, burada açıkladığım farklı varyans kaynaklarını henüz tam olarak fark etmediğimi unutmayın - bunu aklınızda bulundurun. Bu yüzden tartışmanınEtkili örneklem büyüklüğü tahmini için, her hastadaki farklı doku tiplerinin belirli bir doku tipine sahip yeni bir hasta kadar genel bilgiye katkıda bulunduğu sonucuna rağmen doğru olmayabilir (tamamen farklı bir tipim var) bu yolu gösteren kanıtlar). Ancak, bu konuda henüz tam olarak emin değilim (ne daha iyi nasıl yapılacağını ve böylece kontrol edebiliyorum) ve bu sorun sorunuzla ilgisiz.

Binom güven aralığı için hangi performans kullanılır?

Şimdiye kadar, ortalama gözlemlenen performansı kullanıyorum. Gözlenen en kötü performansı da kullanabilirsiniz: gözlenen performans 0,5'e yaklaştıkça, varyans ve dolayısıyla güven aralığı artar. Böylece, gözlenen performansın 0,5'e yakın güven aralıkları size bazı muhafazakar "güvenlik payı" verir.

Binom güven aralıklarını hesaplamak için bazı yöntemlerin, gözlenen başarı sayısı bir tamsayı değilse de işe yaradığını unutmayın. Ross, TD'de anlatıldığı gibi "Bayesyan posterior olasılığın entegrasyonu"
nu kullanıyorum: Binom oranı ve Poisson oranı tahmini için kesin güven aralıkları, Comput Biol Med, 33, 509-531 (2003). DOI: 10.1016 / S0010-4825 (03) 00019-2

(Matlab için bilmiyorum, ancak R'de binom::binom.bayesher iki şekil parametresi 1'e ayarlanmış olarak kullanabilirsiniz).

$n$

Ayrıca bakınız: Bengio, Y. ve Grandvalet, Y .: K-Katlı Çapraz Doğrulamanın Varyansının Tarafsız Tahmincisi, Makine Öğrenim Araştırmaları Dergisi, 2004, 5, 1089-1105 .

(Bunlar hakkında daha fazla düşünmek araştırma yapılacaklar listemde ... ama deneysel bilimden geldiğimde, teorik ve simülasyon sonuçlarını deneysel verilerle tamamlamayı seviyorum - bu büyük bir ihtiyaç duyduğum için burada zor referans testi için bağımsız vakalar seti)

Güncelleme: Biyomiyal dağılım varsayımı haklı mı?

$k$

$n$

$n$$p$$n$

Sanırım çapraz doğrulamayı birçok kez tekrarlama fikriniz doğru.

CV'nizi, her zaman bölme farklı bir şekilde (10 katlı CV için) 10 bölüme veri (do 1000 kez diyelim tekrarlayın değil etiketleri karıştır). Sınıflandırma doğruluğu hakkında 1000 tahmin alacaksınız. Tabii ki aynı verileri tekrar kullanacaksınız, bu yüzden bu 1000 tahmin bağımsız olmayacak. Ancak bu önyükleme prosedürüne benzer: bu doğruluk tahmincinizin ortalamasının standart hatası olarak bu doğruluklardan standart sapmayı alabilirsiniz . Veya% 95 güven aralığı olarak% 95 persentil aralığı.

Alternatif olarak, çapraz doğrulama döngüsünü ve önyükleme döngüsünü birleştirebilir ve basitçe verilerinizin% 10'unu bir test seti olarak rastgele (belki de katmanlı) seçebilir ve bunu 1000 kez yapabilirsiniz. Yukarıdaki ile aynı akıl yürütme burada da geçerlidir. Ancak, bu tekrarlar üzerinde daha yüksek varyans ile sonuçlanacaktır, bu yüzden yukarıdaki prosedürün daha iyi olduğunu düşünüyorum.

Eğer yanlış sınıflandırma oranınız 0.00 ise, sınıflandırıcınız sıfır hata yapar ve bu her önyükleme yinelemesinde gerçekleşirse, sıfır geniş güven aralığı elde edersiniz. Ancak bu, sınıflandırıcınızın neredeyse mükemmel olduğu, sizin için çok iyi olduğu anlamına gelir.

Sınıflandırma hatası hem süreksiz hem de yanlış bir puanlama kuralıdır. Düşük hassasiyete sahiptir ve optimize etmek yanlış özellikleri seçer ve onlara yanlış ağırlıklar verir.