R'deki Rastgele Ormanlarla sınıflandırma için dengesiz sınıf büyüklüklerine göre nasıl ayarlanmalıdır?

Üzerinde çalıştığım bir proje için farklı sınıflandırma yöntemleri araştırıyorum ve Rastgele Ormanları denemekle ilgileniyorum. Ben ilerlerken kendimi eğitmeye çalışıyorum ve CV topluluğu tarafından sağlanan yardımları takdir ediyorum.

Verilerimi eğitim / test setlerine ayırdım. R'deki rastgele ormanlarla yapılan deneylerden (randomForest paketini kullanarak), daha küçük sınıfım için yüksek yanlış sınıflandırma oranı ile ilgili sorun yaşıyorum. Rasgele ormanların dengesiz veriler üzerindeki performansıyla ilgili bu makaleyi okudum ve yazarlar rasgele ormanları kullanırken sınıf dengesizliği ile başa çıkmak için iki yöntem sundular.

1. Ağırlıklı Rastgele Ormanlar

2. Dengeli Rasgele Ormanlar

R paketi sınıfların ağırlıklandırmasına izin vermez (R yardım forumlarından, classwt parametresinin düzgün performans göstermediğini ve gelecekteki bir hata düzeltmesi olarak programlandığını okudum), bu yüzden seçenek 2 ile kaldım. rastgele ormanın her bir yinelemesi için her sınıftan örneklenen nesne sayısı.

Gelecekteki verilerle kötü performansa yol açan daha büyük sınıf hakkında çok fazla bilgi kaybedeceğimi hissettiğim için, rastgele ormanlar için eşit örnek boyutları ayarlama konusunda tedirgin hissediyorum. Daha büyük sınıfın altörneklenmesi sırasındaki yanlış sınıflandırma oranları geliştiğini gösterdi, ancak rastgele ormanlardaki dengesiz sınıf büyüklükleriyle başa çıkmanın başka yolları olup olmadığını merak ediyordum?

Bu seçenekleri beğenmediyseniz, bunun yerine bir yükseltme yöntemi kullanmayı düşündünüz mü? Uygun bir kayıp fonksiyonu göz önüne alındığında, arttırmak ağırlıkları otomatik olarak tekrar ayarlar. Rasgele ormanların stokastik doğası size hitap ediyorsa, stokastik gradyan artırma bunu da yapar.

Ağırlık nesnelerinin bir şekilde onları kopyalamakla eşdeğer olduğunu düşünüyorum. Belki de farklı sınıflarınızı uygun şekilde örnekleyerek bootstrap adımını değiştirmeyi denemelisiniz.

$0.5$

Büyük sınıfları örneklemek yerine küçük sınıfları genişletebilirsiniz! Büyük sınıflar küçükten çok daha fazla gözlem yaparsa, biase küçük olacaktır. Umarım bu büyük veri setini halledebilirsiniz.

Ayrıca, büyük sınıflar hakkında en fazla bilgiyi ele alan gözlem alt kümelerini de tanımlayabilirsiniz, birçok olası prosedür vardır, bence en basit komşu yöntemine dayanmaktadır - mahalle grafik yapısına dayalı gözlem örneklemesi, numunenin olasılık yoğunluğuna daha benzer olacağını garanti eder Asıl olan.

randomForest Fortran ve c ile yazılmıştır, kaynak kodu mevcuttur (http://cran.r-project.org/src/contrib/randomForest_4.6-2.tar.gz) ama entropinin hesaplandığı yeri bulamıyorum, ps. rastgele ormanların entropi yerine Gini kullandıkları

(1) Haklısın, ağırlıklandırma fonksiyonu çalışmıyor ve düzeltilip düzeltilmediğinden emin değilsiniz.

(2) Çoğu, dengeli verilerle 2. seçeneği kullanır. Çok fazla veri kaybetmemenin anahtarı katmanlı örneklemedir. Her ağaç için rastgele bir dengeli küme örneklersiniz.

Sentetik azınlık aşırı örneklemesi (SMOTE), komşu gözlemlerin rastgele dışbükey kombinasyonları olarak azınlık sınıfının yeni gözlemlerini üretir. Kağıt burada: https://bmcbioinformatics.biomedcentral.com/articles/10.1186/1471-2105-14-106