Oranları ve ikili sınıflandırıcıyı test edin

Parçaları üreten bir prototip makinem var.

Birinci testte makine üreten $N_1$ parça ve bir ikili sınıflandırıcı olduğunu söyler parça arızalı (vardır , genellikle ve ) ve parça iyidir. $d_1$ $d_1 < N_1$ $d_1/N_1<0.01$ $N_1\approx10^4$ $N_1-d_1$

Daha sonra bir teknisyen, arızalı parça sayısını azaltmak için makinede bazı değişiklikler yapar.

Test aşağıdaki saniyenin ve modifiye makine üreten parçalar ve aynı ikili sınıflandırıcı (bakir) olduğunu söylüyor parçalar zaten bozuk oldukça benzer . $N_2$ $d_2$ $d_2/N_2$ $d_1/N_1$

Teknisyen, değişikliklerinin etkili olup olmadığını bilmek istiyor.

Sınıflandırıcıların mükemmel olduğunu varsayarsak (duyarlılığı% 100 ve özgüllüğü% 100'dür), oranlar için bir test yapabilirim (R ile sadece yazıyorum prop.test(c(d1,d2),c(N1,N2))).

Ancak sınıflandırıcı mükemmel değildir, bu yüzden teknisyene düzgün bir şekilde cevap vermek için sınıflandırıcının bilinmeyenliğini ve özgüllüğünü nasıl dikkate alabilirim?

— Alessandro Jacopson
kaynak

Sınıflandırıcının doğruluk oranını teyit edebilir misiniz?

— Michelle

@Michelle

hatasız olduğunu biliyorum, ancak kaç hatalı parçanın iyi olarak yanlış sınıflandırıldığını bilmiyorum.

d_{1}

$d_1$

d_{2}

$d_2$

— Alessandro Jacopson

Tekrar merhaba. Yanlış pozitif oranı tahmin etmek için ayrı ayrı N1 ve N2'den iyi parçaların rastgele bir örneğini yapabilir misiniz?

— Michelle

Bu bilgilerle, değişiklikleri karşılaştırmak için bu yöntemi kullanabilir misiniz? onlinelibrary.wiley.com/doi/10.1002/sim.906/abstract burada da bakınız ncbi.nlm.nih.gov/pubmed/18224558 ve burada diğer fikir tam metin: stat.colostate.edu/~bradb/papers/lrgraphfinal. pdf

— Michelle

(+1) bu harika bir soru!

— steffen

Bu yüzden bunu ilk ilkelerden elde ediyorum ve bu yüzden doğru olduğundan emin değilim. İşte düşüncelerim:

EDIT: Bu daha önce doğru değildi. Güncelledim.

Edelim Let gerçek pozitifler gerçek sayısı arasındaki beklenen farklılığı gösterdiği ve ikili sınıflandırıcı tarafından sayı çıktı diyeceğiz ki . Sınıflandırıcıyı bilinen etiketleri olan bir kümede çalıştırarak bunu ölçebilirsiniz. Gerçek pozitiflerin sayısını sınıflandırıcı tarafından üretilen pozitiflerin sayısından çıkarın ve sonra elde etmek için bölün . $\alpha$ $d_1$ $\hat{d_1}$ $N$ $\alpha$
Böylece, arızalı parçaların gerçek oranı için bir nokta tahmini şu şekilde verilir: . Yani, gözlemlenen kusurlu parça sayısı, beklenen yanlış pozitif sayısının az olması ve beklenen yanlış negatif sayısının artması. $\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$
Benzer şekilde, $\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$
Şimdi bir pervane testi yapalım. Standart pervane testinde, önce boş değer olarak kullanılan toplanmış oranı hesaplıyoruz: . Yani burada, bizim nokta tahminleri koymak $p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$ ve $\hat{\frac{d_1}{N_1}}$ elde etmek için: $\hat{\frac{d_2}{N_2}}$ $p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$
Sonra standart hata sadece olağandır: $\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$
Ve test istatistiği aynı: $z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

Yorum hakkında bazı düşünceler:

$p < 0$
Bunu düşünmenin başka bir yolu, arızalı parçaların sayısı sınıflandırıcı için hata payı içinde ise, elbette bir fark olup olmadığını söyleyemeyiz: herhangi bir parçanın arızalı olup olmadığını bile söyleyemeyiz!

$\alpha$

$\alpha$ $\alpha$

$h$

$\frac{h}{2}$ $\alpha$ $\alpha$ $\frac{h}{2}$ $low_l, low_r)$ $(high_l, high_r)$ $\alpha$ $(high_l,low_r)$ (önceki aralıkların her ikisini de içerir), oranlardaki fark için bir (1-h) *% 100 CI olmalıdır ... Bence ...

$\alpha$

— John Doucette
kaynak

+1, teşekkürler. 6'da "statik" yazdınız, "istatistik" mi demek istediniz?

— Alessandro Jacopson

p < 0

$p<0$

0 < p < 1

$0<p<1$

0 < p < 1

$0<p<1$

0.01 (N 1 - d 1) \approx 100

$0.01(N1−d1)\approx100$

β = \frac{7}{100}

$\beta=\frac{7}{100}$

β

$\beta$

β

$\beta$ prop.test(7,100)

@ uvts_cvs Evet, bu "istatistik" olmalı. Birazdan tamir edeceğim. Standart hata hesaplamasında bunun yerine p * (1-p) olması gereken bir yazım hatası da vardır. Sınıflandırıcınız gerçekten kötü ve d büyükse P hariç her zaman <1 olmalıdır. Üçüncü yorumunuz için, evet, fikir bu. Bu tahminin modele nasıl dahil edileceğinden emin değilim. Belki burada başka biri bilir?

— John Doucette

α

$\alpha$

β

$\beta$