«unbalanced-classes» etiketlenmiş sorular

Tamam, bu yüzden 20: 1 kuralını göz önünde bulundurarak yeterince iyi bir örneğe sahip olduğumu düşünüyorum: toplam 7 aday belirleyici değişkeni için oldukça büyük bir örnek (N = 374). Benim sorunum şudur: Ne kullanırsam tahmin değişkenleri kümesi ne olursa olsun, sınıflandırmalar% 100 özgüllük ve% 0 duyarlılıktan daha iyi olamaz. Bununla …

81 regression  logistic  sample-size  unbalanced-classes 

(Özellikler, ikili çıkış 0 veya 1) şeklinde bir veri setine sahibim, ancak 1 nadiren oluyor, bu yüzden sadece her zaman 0 öngörerek% 70 ile% 90 arasında doğruluk elde ederim (baktığım verilere göre ). ML yöntemleri bana aynı doğruluğu veriyor ve bu durumda uygulanacak, açık tahmin kuralına göre doğruluğu artıracak bazı …

52 machine-learning  classification  binary-data  unbalanced-classes 

Lojistik regresyon , SVM , karar ağaçları , torbalama ve benzeri pek çok başka soru kullanırken dengesiz veriler hakkında çoktan sorularımız vardı , bu da onu çok popüler bir konu haline getirdi! Maalesef, soruların her biri algoritmaya özgü görünüyor ve dengesiz verilerle ilgilenmek için genel bir kılavuz bulamadım. Dengesiz verilerle …

52 machine-learning  classification  predictive-models  unbalanced-classes 

Bu genel olarak bir sorudur, herhangi bir yönteme veya veri kümesine özgü değildir. Veri setinde 0 sayısının% 90 civarında, 1 sayısının% 10 civarında olduğu Denetimli Makine öğreniminde sınıf dengesizliği problemiyle nasıl başa çıkacağız. Sınıflandırıcıyı nasıl optimum şekilde eğitiyoruz? İzlediğim yollardan biri, veri setini dengelemek ve ardından sınıflandırıcıyı eğitmek ve bunu …

47 machine-learning  unbalanced-classes  supervised-learning 

Veri madenciliğinde yeniyim ve dengesiz bir veri setine karşı bir karar ağacı yetiştirmeye çalışıyorum. Ancak, zayıf tahmin doğruluğu ile ilgili sorunlar yaşıyorum. Veriler ders okuyan öğrencilerden oluşur ve sınıf değişkeni iki değeri olan ders durumudur - Çekilmiş veya Akım. Yaş Etnik köken Cinsiyet Elbette ... Kurs Durumu Veri setinde, Akım …

43 classification  cart  unbalanced-classes  accuracy 

Çok nadir pozitif sınıflı bir veri kümem varsa ve negatif sınıfı aşağı örneklemem, sonra lojistik bir regresyon uygulamam, pozitif sınıfın prevalansını değiştirdiğim gerçeğini yansıtmak için regresyon katsayılarını ayarlamam gerekir mi? Örneğin, 4 değişkenli bir veri kümesine sahip olduğumu varsayalım: Y, A, B ve C. Y, A ve B ikili, C …

34 logistic  unbalanced-classes  case-control-study 

Son zamanlarda makine / istatistik öğreniminde "sınıf dengesizliği sorunu" hakkında çok fazla düşündüm ve neler olup bittiğini anlamadığım bir duyguyu daha da derinleştiriyorum. İlk önce, terimlerimi tanımlamama (veya tanımlamaya çalışmama) izin verin: Sınıf dengesizliği bir sorun makinesi / istatistiksel öğrenme 1 sınıflara 0 sınıfların oranı çok eğik olduğu zaman, bazı …

30 classification  predictive-models  unbalanced-classes  scoring-rules 

Birkaç belirleyiciye sahip olduğum (biri en bilgilendirici olan) bir sınıflandırma görevim var ve sınıflandırıcımı oluşturmak için MARS modelini kullanıyorum (herhangi bir basit modelle ilgileniyorum ve açıklama amacıyla glms kullanmak çok iyi). Şimdi eğitim verilerinde çok büyük bir sınıf dengesizliği var (her pozitif örnek için yaklaşık 2700 negatif örnek). Bilgi Edinme …

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

Eğitim verilerindeki dengesiz sınıfların sorunlara yol açabileceğini öğrendiğim çevrimiçi bir kurs aldım, çünkü sınıflandırma algoritmaları dengesizliğin çok fazla olması halinde iyi sonuçlar verdiği için çoğunluk kuralı için de geçerlidir. Bir ödevde kişi çoğunluk sınıfını örnekleyerek verileri dengelemek zorundaydı. Ancak bu blogda, birileri dengeli verilerin daha da kötü olduğunu iddia ediyor: …

29 machine-learning  classification  unbalanced-classes 

Anket verilerimden lojistik bir model yapmak istiyorum. Sadece 154 katılımcıyla görüşülen dört konut kolonisinden oluşan küçük bir ankettir. Bağımlı değişkenim "işe tatmin edici bir geçiş". Araştırmaya katılan 154 kişiden 73'ünün, işe geri kalanının yapmadıkça işe tatmin edici bir şekilde geçtiklerini söyledi. Dolayısıyla bağımlı değişken doğada ikilidir ve lojistik regresyon kullanmaya …

26 logistic  sample-size  assumptions  power  unbalanced-classes 

Çok dengesiz bir veri setim var. Ayarlama önerisini ve kullanımını izlemeye çalışıyorum scale_pos_weightama nasıl ayarlayacağımı bilmiyorum. Gördüğümü görebiliyorum RegLossObj.GetGradient: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight dolayısıyla pozitif bir numunenin gradyanı daha etkili olacaktır. Ancak, xgboost kağıdına göre , gradyan istatistiği her zaman yerel olarak kullanılır = belirli bir ağaçtaki …

26 unbalanced-classes  xgboost 

Yakın geçmişteki iyi alınan söz konusu Tim sorar dengesiz veriler gerçekten Makine Öğrenmesi bir sorun olduğunda ? Sorunun önermesi, sınıf dengesini ve dengesiz sınıflar sorununu tartışan bir çok makine öğrenimi literatürü olmasıdır . Fikir, pozitif ve negatif sınıf arasında bir dengesizliğe sahip veri kümelerinin, bazı makine öğrenimi sınıflandırma (buraya olasılıklı …

25 machine-learning  classification  predictive-models  unbalanced-classes 

Makine öğrenmesi ya da parametre tahmininin temel varsayımlarından biri, görünmeyen verilerin eğitim seti ile aynı dağıtımdan geldiğidir. Bununla birlikte, bazı pratik durumlarda, test setinin dağılımı eğitim setinden neredeyse farklı olacaktır. Ürün tanımlarını yaklaşık 17.000 sınıfa sınıflandırmaya çalışan büyük ölçekli bir çok sınıflandırma problemi için söyleyin. Eğitim seti, eğrilmiş bir sınıf …

23 machine-learning  classification  skewness  unbalanced-classes  multi-class 

Dolandırıcılık tespiti (kredi puanlama benzeri) sorunu ile ilgileniyorum. Dolayısıyla, hileli ve hileli olmayan gözlemler arasında oldukça dengesiz bir ilişki vardır. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html , farklı sınıflandırma ölçümlerine harika bir genel bakış sağlar. Precision and Recallya da kappaher ikisi de iyi bir seçim gibi görünüyor: Bu tür sınıflandırıcıların sonuçlarını haklı göstermenin bir yolu, …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

Sınıflandırma bağlamında dengesiz verilerin ele alınması konusunda iyi sorular var , ancak insanların regresyon için örneklemek için ne yaptığını merak ediyorum. Sorunlu alanın işarete çok duyarlı olduğunu, ancak hedefin büyüklüğüne sadece biraz duyarlı olduğunu varsayalım. Bununla birlikte, büyüklük modelin sınıflandırma değil (pozitif ve negatif sınıflar) regresyon (sürekli hedef) olması gerektiği …

22 regression  sampling  unbalanced-classes