Bir baskın yordayıcı ile sınıflandırma

Bir ($k$-sınıf) sınıflandırma problemi, bir tanesi diğerlerinden çok daha fazla açıklayıcı güce sahip gibi görünen 100 gerçek değerli tahminci sırasına göre. Diğer değişkenlerin etkilerini derinleştirmek istiyorum. Bununla birlikte, standart makine öğrenme teknikleri (rastgele ormanlar, SVM'ler, vb.) Bir güçlü öngörücü tarafından gömülüyor ve bana diğerleri hakkında çok ilginç bilgi vermiyor.

Eğer bu bir gerileme problemi olsaydı, güçlü öngörücüye karşı gerilemeliydim ve daha sonra kalıntıları diğer algoritmalar için girdi olarak kullanardım. Bu yaklaşımın bir sınıflandırma bağlamına nasıl çevrilebileceğini gerçekten görmüyorum.

İçgüdüm, bu sorunun oldukça yaygın olması gerektiğidir: bununla başa çıkmak için standart bir teknik var mı?

2 sınıf problemler için, R'deki GBM paketini kullanabilirsiniz , bu sınıflandırma ağaçlarını kayıp fonksiyonundan kalanlara tekrar tekrar sığdırır. Ne yazık ki henüz çok sınıflı sorunları desteklemiyor.

Bu, yükseltme için çok uygun bir sorun gibi görünüyor, ancak k sınıfı sorunları destekleyen herhangi bir yükseltme paketi bilmiyorum. Sorunun birden fazla sınıf için uygun bir kayıp işlevi yazdığını düşünüyorum. glmnetPaketler belki bazı noktalardaki 's kaynak koduna göz bakabilir, multinomial kaybı işlevi vardır.

Kendi yükseltme algoritmanızı yazmayı deneyebilir veya probleminizi k ikili sınıflandırma problemlerine (bir sınıf ve diğer tüm sınıflar) dönüştürebilir, her probleme bir gbm modeli sığdırabilir ve her modelden sınıf olasılıklarını ortalama olarak belirleyebilirsiniz.