«precision-recall» etiketlenmiş sorular

Birkaç milyon satır ve ~ 100 sütun içeren bir veri kümem var. Ortak bir sınıfa ait veri kümesindeki örneklerin yaklaşık% 1'ini tespit etmek istiyorum. Minimum hassasiyet kısıtlamam var, ancak çok asimetrik maliyet nedeniyle belirli bir geri çağırma konusunda çok hevesli değilim (10 olumlu maçla kalmadığım sürece!) Bu ortamda önerebileceğiniz bazı …

15 machine-learning  classification  unbalanced-classes  precision-recall 

Makine Öğreniminde yeniyim. Şu anda 3 sınıftaki küçük metinleri NLTK ve python kullanarak pozitif, negatif veya nötr olarak sınıflandırmak için Naive Bayes (NB) sınıflandırıcısı kullanıyorum. Bazı testler yaptıktan sonra, 300.000 örnekten oluşan bir veri kümesiyle (16.924 pozitif 7.477 negatif ve 275.599 nötr), özellik sayısını artırdığımda doğruluk azalır, ancak pozitif ve …

15 machine-learning  classification  naive-bayes  precision-recall 

Hassas hatırlama eğrisini anlamaya çalışıyorum, hassasiyet ve hatırlamanın ne olduğunu anlıyorum ama anlamadığım şey "temel" değer. Bu bağlantıyı okuyordum https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/ ve "Mükemmel bir sınıflandırıcının bir Hassas-Geri Çağırma eğrisi" bölümünde gösterildiği gibi taban kısmını anlamıyorum, ne işe yarar? ve bunu nasıl hesaplıyoruz? Sadece seçtiğimiz rastgele bir başlangıç ​​noktası mı? Örneğin, retweet,status_countvb …

15 r  machine-learning  classification  precision-recall 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 8 ay önce kapalı . ROC altında bir paket hesaplama alanı bulmak kolaydır, ancak hassas geri çağırma eğrisinin altındaki alanı hesaplayan bir paket var mı?

15 r  precision-recall 

F1 skoru, hassasiyet ve hatırlamanın harmonik ortalamasıdır. Geri çağırmanın y ekseni gerçek pozitif orantır (aynı zamanda hatırlamadır). Öyleyse, bazen sınıflandırıcılar düşük hatırlama oranına ancak çok yüksek AUC değerine sahip olabilir, bunun anlamı nedir? AUC ve F1 skorları arasındaki farklar nelerdir?

14 machine-learning  precision-recall  auc  accuracy 

Hacim benzerliği ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) ve doğruluk ( https://en.wikipedia.org/wiki/Accuracy_and_precision ) için Zar katsayısına rastlarım ). Bana öyle geliyor ki bu iki önlem aynı. Düşüncesi olan var mı?

13 descriptive-statistics  roc  accuracy  precision-recall  auc 

Niçin iyi yolu nedir Hassasiyet + HatırlamaPrecision+Recall\text{Precision} + \text{Recall} olduğu değil F1 ile kıyaslandığında, diyelim ki, iyi bir tedbir?

12 precision-recall 

Yaya tespiti olarak adlandırılan görevi çözmeye çalışıyorum ve iki kategori pozitif - insanlar, negatifler - arka plan üzerinde ikili clasifer eğitiyorum. Veri setim var: pozitif sayısı = 3752 negatif sayısı = 3800 Train \ test split 80 \ 20% ve RandomForestClassifier form scikit-learn parametrelerini kullanıyorum: RandomForestClassifier(n_estimators=100, max_depth=50, n_jobs= -1) Puanı …

12 classification  random-forest  unbalanced-classes  precision-recall  computer-vision 

İki sıralama algoritmasını karşılaştırmak istiyorum. Bu algoritmalarda, istemci aramasında bazı koşulları belirtir. Müşterinin gereksinimlerine göre, bu algoritma veri tabanındaki her öğe için bir puan atamalı ve en yüksek puanlara sahip öğeleri almalıdır. Bu sitede sorumla ilgili farklı konular okudum ve internette arama yaptım. Aramalarıma göre, sıralama algoritmalarını karşılaştırmak için bazı …

12 machine-learning  precision-recall  average-precision 

İçeriğe dayalı görüntü alma sistemi yaptığım veri madenciliği görevim var. 5 hayvandan 20 görüntüm var. Yani toplam 100 görüntü. Sistemim en alakalı 10 görüntüyü giriş görüntüsüne döndürür. Şimdi sistemimin performansını bir Hassas-Geri Çağırma eğrisi ile değerlendirmem gerekiyor. Ancak, Hassas-Geri Çağırma eğrisi kavramını anlamıyorum. Diyelim ki sistemim bir goril görüntüsü için …

12 data-mining  matlab  precision-recall  curves  computer-vision 

Hassaslık ve hatırlamayı birleştirmede ağırlıklı aritmetik ortalamanın aksine, harmonik ortalama kullanmanın (örneğin F-ölçümlerini hesaplamak için) gerçek değeri nedir acaba? Ağırlıklı aritmetik ortalamanın harmonik ortalama rolünü oynayabileceğini düşünüyorum, yoksa bir şey mi kaçırıyorum?

12 machine-learning  monte-carlo  precision-recall  harmonic-mean 

Sadece hassasiyet / hatırlama / F1 puanlarına dayalı bir önem testi yapmak mümkün müdür? Örneğin, yalnızca P / R / F1 bildirildiği (aynı veri kümesinde vb.) Bildirilen bir kağıtta 2 sistemle karşılaşırsanız, istatistiksel anlamlılık testi yapabilir misiniz? Evetse, bu nasıl yapılır?

12 statistical-significance  precision-recall 

Predicted class Cat Dog Rabbit Actual class Cat 5 3 0 Dog 2 3 1 Rabbit 0 2 11 Hassaslığı ve hatırlamayı nasıl hesaplayabilirim? F1 puanını hesaplamak kolaylaşır. Normal karışıklık matrisi 2 x 2 boyutudur. Ancak, 3 x 3 olduğunda hassaslığı ve hatırlamayı nasıl hesaplayacağımı bilmiyorum.

12 machine-learning  precision-recall 

2 sınıf etiketli veriler için birden fazla sınıflandırıcı kullanarak sınıflandırma yaptım ve 5 kat çapraz doğrulama kullandım. Her kat için tp, tn, fp ve fn hesapladım. Sonra her test için doğruluk, kesinlik, geri çağırma ve F-skorunu hesapladım. Sorum şu: Sonuçları ortalamak istediğimde, ortalama doğrulukları aldım, ancak hassasiyeti, hatırlamayı ve F-puanını …

11 classification  cross-validation  precision-recall 

Hassas geri çağırma eğrisinde "optimal" çalışma noktasını belirlemek için herhangi bir standart yöntem var mı ? (yani, doğruluk ve hatırlama arasında iyi bir denge sağlayan eğrideki noktayı belirlemek) Teşekkürler

11 machine-learning  precision-recall