İstatistiksel anlamlılık için iki sınıflandırıcı doğruluk sonucunun t-testi ile karşılaştırılması

İki sınıflandırıcının doğruluğunu istatistiksel anlamlılık açısından karşılaştırmak istiyorum. Her iki sınıflandırıcı da aynı veri kümesinde çalıştırılır. Bu beni okuduğumdan bir örnek t-testi kullanmam gerektiğine inanıyor .

Örneğin:

Classifier 1: 51% accuracy
Classifier 2: 64% accuracy
Dataset size: 78,000

Kullanılacak doğru test bu mu? Öyleyse, sınıflandırıcı arasındaki doğruluk farkının önemli olup olmadığını nasıl hesaplayabilirim?

Yoksa başka bir test mi kullanmalıyım?

— Chris
kaynak

Yanıtlar:

Sınıflandırıcıları yalnızca bir kez eğitirseniz McNemar'ın testini tercih ederim. David Barber , benim için oldukça zarif görünen, ancak yaygın olarak kullanılmayan ( kitabında da belirtilmiştir ) oldukça düzgün bir Bayes testi önermektedir .

Sadece eklemek için, Peter Flom'un dediği gibi, cevap neredeyse kesinlikle "evet" dir, sadece performans ve numunenin boyutuna bakarak (alıntılanan rakamları eğitim seti performansından ziyade test seti performansıdır).

Bu arada Japkowicz ve Shah'ın "Öğrenme Algoritmalarını Değerlendirme: Bir Sınıflandırma Perspektifi" hakkında yeni bir kitabı var, ben okumadım, ancak bu tür sorunlar için yararlı bir referans gibi görünüyor.

— Dikran Keseli
kaynak

Bu sonuçları almak için 10 kat çapraz doğrulama kullanıyorum. Bu aslında farklı veri kümeleri oldukları anlamına mı geliyor? Çapraz doğrulamada test / tren için bölünen toplam boyut budur

— Chris

Her kat için doğruluk bağımsız olmayacak, bu da çoğu istatistiksel testin varsayımlarını ihlal edecek, ancak muhtemelen büyük bir sorun olmayacak. Sık sık 100 rastgele eğitim / test bölümü kullanıyorum ve daha sonra Wilcoxon eşleştirilmiş imzalı sıralama testini kullanıyorum (her iki sınıflandırıcı için de aynı rastgele bölünmeleri kullanıyorum). Sık sık küçük veri kümeleri kullandığım için bu tür bir testi tercih ederim (aşırı sığdırma ile ilgileniyorum gibi), bu nedenle rasgele bölünmeler arasındaki değişkenlik, sınıflandırıcılar arasındaki performans farkıyla karşılaştırılabilir olma eğilimindedir.

— Dikran Marsupial

(+1) Wilcoxon eşli imzalı rütbe testi için (ve kitabın bağlantısı ... eğer toc sözlerini yerine getirebilirse, bu kitap tüm ML'lerin mutlaka okunması gerekir: O)

— steffen

Ayrıca sınıflandırıcıları karşılaştırmak için imzalı sıra testleri ve eşleştirilmiş t-testleri kullandım. Ancak bu amaç için tek taraflı bir test kullanarak rapor her zaman gözden geçirenler zor bir zaman olsun yani iki taraflı testleri kullanmaya döndü!

— BGreene

OP'nin sorunun aslında çapraz geçerlilikle ilgili olduğunu açıkladığı göz önüne alındığında, cevabınızı bu konuyu kapsayacak şekilde genişletmeyi düşünür müsünüz? O zaman Q'yu düzenleyebiliriz. Bu önemli bir konudur ve birkaç ilişkili (hatta yinelenen) soru vardır, ancak hiçbirinin iyi bir cevabı yoktur. Yukarıdaki bir yorumda, CV tahminleri üzerinde eşleştirilmiş bir test kullanmanızı ve burada bağımsızlığın olmamasının büyük bir sorun olduğunu düşünmediğinizi söylemeniz önerilir. Neden olmasın? Bana büyük bir sorun gibi geliyor!

— amip diyor Reinstate Monica

Sana, hiçbir şey çalıştırmadan bile, farkın son derece istatistiksel olarak anlamlı olacağını söyleyebilirim. IOTT'yi geçer (interoküler travma testi - sizi gözlerin arasına vurur).

Bir test yapmak istiyorsanız, bunu iki oranın bir testi olarak yapabilirsiniz - bu iki örnek t-testi ile yapılabilir.

Yine de bileşenlerine "doğruluğu" bölmek isteyebilirsiniz; duyarlılık ve özgüllük veya yanlış pozitif ve yanlış negatif. Birçok uygulamada, farklı hataların maliyeti oldukça farklıdır.

— Peter Flom - Monica'yı eski durumuna döndürün
kaynak

Kabul edildi - bu açıkça önemli olacak. Nitpick: İki oranı (yaklaşık olarak) test etmek için bir

testi kullanırsınız - bu,

arttıkça binom dağılımının normale yakınlaşmasıyla ilgilidir . Bkz. Bölüm 5.2 en.wikipedia.org/wiki/Statistic_hypothesis_testing

z

$z$

n

$n$

— Makro

İkinci düşüncede, bir

testi CLT tarafından asimptotik olarak geçerli olabilir, ancak

testinin genellikle burada kullanılmasının bir nedeni olmalıdır .

t

$t$

z

$z$

— Makro

Soruma verdiğim doğruluk yüzdesi sadece bir örnektir.

— Chris

Doğruluk, bu durumda, numunelerin oranı doğru bir şekilde sınıflandırıldığından, iki oranlı bir sistemle ilgili hipotez testini uygulayabiliriz.

Let ve , sırasıyla sınıflandırıcılar 1 ve 2'de elde edilen doğruluk olabilir ve örnek sayısı olabilir. Sınıf 1 ve 2'de doğru bir şekilde sınıflandırılan örnek sayısı, sırasıyla ve . $\hat p_1$ $\hat p_2$ $n$ $x_1$ $x_2$

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

Test istatistiği

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$ nerede $\quad\hat p= (x_1+x_2)/2n$

$p_2$ $p_1$

$H_0: p_1 = p_2\quad$ (her ikisinin de eşit olduğunu belirten sıfır hipotez)
$H_a: p_1 < p_2\quad$ (yenisinin mevcut olandan daha iyi olduğunu iddia eden alternatif hipotez)

Reddetme bölgesi

$Z < -z_\alpha \quad$ $H_0$ $H_a$

$z_\alpha$ $\alpha$ $z_{0.5} = 1.645$ $Z < -1.645$ is true, then we could say with 95% confidence level ( $1-\alpha$ ) that classifier 2 is more accurate than classifier 1.

References:

R. Johnson and J. Freund, Miller and Freund’s Probability and Statistics for Engineers, 8th Ed. Prentice Hall International, 2011. (Primary source)
Test of Hypothesis-Concise Formula Summary. (Adopted from [1])

— Ébe Isaac
kaynak

Shouldn't

\hat{p}

$\quad\hat p$ be the average of

{\hat{p}}_{1}

$\hat p_1$ and

{\hat{p}}_{2}

$\hat p_2$ ? So the denominator should be 2n in

\hat{p} = (x_{1} + x_{2}) / 2 n

$\quad\hat p= (x_1+x_2)/2n$ .

— Shiva Tp

Though I agree that a test for proportions could be used, there is nothing in the original question that suggests a one-sided test is appropriate. Moreover, "we could say with 95% confidence" is a common misinterpretation. See e.g. here: metheval.uni-jena.de/lehre/0405-ws/evaluationuebung/haller.pdf

— Frans Rodenburg

@ShivaTp Indeed. Thanks for pointing the much needed typo correction. Edit confirmed.

— Ébe Isaac