Performansı artırmak için makine öğreniminde seyrek ve yoğun verileri birleştirme

Kestirimci olan seyrek özelliklerim var, ayrıca kestirimci olan bazı yoğun özelliklere de sahibim. Sınıflandırıcının genel performansını artırmak için bu özellikleri bir araya getirmem gerekiyor.

Şimdi, bunları bir araya getirmeye çalıştığımda, yoğun özellikler seyrek özelliklere daha fazla hakim olma eğilimindedir, bu nedenle AUC'de sadece yoğun özelliklere sahip modele kıyasla sadece% 1 iyileşme sağlar.

Birisi benzer sorunlarla karşılaştı mı? Girişleri gerçekten takdir ediyorum, sıkışmış bir tür. Zaten farklı sınıflandırıcılar, sınıflandırıcılar kombinasyonu, özellik dönüşümleri ve farklı algoritmalar ile işleme denedim.

Yardımınız için şimdiden teşekkür ederiz.

Düzenle :

Yorumlarda verilen önerileri zaten denedim. Gözlemlediğim şey, verilerin neredeyse% 45'i için, seyrek özellikler gerçekten iyi performans gösteriyor, sadece seyrek özelliklerle 0.9 civarında AUC elde ediyorum, ancak geri kalanlar için yoğun özellikler 0.75 civarında AUC ile iyi performans gösteriyor. Bu veri kümelerini ayırmayı denedim, ancak 0.6 AUC elde ediyorum, bu yüzden sadece bir model geliştiremiyorum ve hangi özelliklerin kullanılacağına karar veremiyorum.

Kod pasajı ile ilgili olarak, çok şey denedim, tam olarak ne paylaşacağımdan emin değilim :(

Bu, Temel Bileşen Analizi için bir iş gibi görünüyor. Scikit PCA iyi uygulanmış ve bana birçok kez yardımcı oldu.

PCA, belirli bir şekilde özelliklerinizi birleştirir. Bileşen sayısını sınırlandırarak modelinizi gürültüsüz verilerle (en iyi durumda) alırsınız. Çünkü modeliniz verileriniz kadar iyi.

Aşağıda basit bir örneği ele alalım.

from sklearn.pipeline import Pipeline
pipe_rf = Pipeline([('pca', PCA(n_components=80)),
                    ('clf',RandomForestClassifier(n_estimators=100))])
pipe_rf.fit(X_train_s,y_train_s)

pred = pipe_rf.predict(X_test)

Neden 80 tane seçtim? Kümülatif varyans çizdiğimde, bunu aşağıya aldım, bu bana ~ 80 bileşenle neredeyse tüm varyansa ulaştığımı söylüyor.

Bu yüzden bir deneyin, modellerinizde kullanın. Yardım etmeli.

Özellikleri birleştirmenin en iyi yolu topluluk yöntemleri kullanmaktır. Temel olarak üç farklı yöntem vardır: torbalama, artırma ve istifleme. Ya özellik seçimi ile artırılmış Adabbost (bu hem seyrek hem de yoğun özellikleri düşünün) ya da istifleme tabanlı (rastgele özellik - rastgele altuzay) kullanabilirsiniz İkinci seçeneği tercih ederek bir grup temel öğreniciyi (kararlar. Ağaçlar) rastgele kullanarak eğitebilirsiniz alt kümeler ve rastgele özellik (tüm özellikleri kapsayana kadar eğitim üssü öğrencilerini saklayın) Bir sonraki adım, meta verileri oluşturmak için Eğitim kümesini test etmektir. Bir meta sınıflandırıcıyı eğitmek için bu meta verilerini kullanın. Meta sınıflandırıcı hangi özelliğin daha önemli olduğunu ve ne tür bir ilişkinin kullanılması gerektiğini belirleyecektir.

Değişken gruplar çok doğrusal olabilir veya seyrek ve yoğun dönüşüm ters gidebilir. Oy veren bir sınıflandırıcı / topluluk sınıflandırması kullanmayı düşündünüz mü? http://scikit-learn.org/stable/modules/ensemble.html Bu şekilde yukarıdaki her iki sorunla da başa çıkabilirsiniz.

Yukarıdaki önerilerin bazılarına ek olarak, iki adımlı bir modelleme yaklaşımı kullanmanızı tavsiye ederim .

1. Önce seyrek özellikleri kullanın ve en iyi modeli geliştirin.
2. Bu modelden öngörülen olasılığı hesaplayın.
3. Olasılık tahminini, yoğun özellikleri içeren ikinci modele (girdi özelliği olarak) besleyin. Başka bir deyişle, ikinci modeli oluşturmak için tüm yoğun özellikleri ve olasılık tahminini kullanın .
4. Son sınıflandırma daha sonra ikinci modele dayanacaktır.

PCA'yı yalnızca seyrek özelliklerde deneyin ve PCA çıkışını yoğun özelliklerle birleştirin.

Böylece yoğun (orijinal) özellikler + yoğun özellikler (başlangıçta seyrek) elde edersiniz.

Soru için +1. Lütfen bizi sonuçlarla güncelleyin.