Scikit-learn ile özellik önemi Rastgele Orman çok yüksek Standart Sapma gösterir

Ben kullanıyorum Rastgele Orman Sınıflandırıcı scikit-öğrenme ve böyle olduğu gibi özellik önem çizmek istiyorum bu örnekte .

Ancak benim sonucum tamamen farklıdır, çünkü özellik önemi standart sapmanın neredeyse her zaman özellik öneminden daha büyüktür (bkz. Ekli resim).

Böyle bir davranışa sahip olmak mümkün mü, ya da onu çizerken bazı hatalar mı yapıyorum?

Kodum şudur:

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestClassifier

clf = RandomForestClassifier()
clf.fit(predictors.values, outcome.values.ravel())

importance = clf.feature_importances_
importance = pd.DataFrame(importance, index=predictors.columns, 
                          columns=["Importance"])

importance["Std"] = np.std([tree.feature_importances_
                            for tree in clf.estimators_], axis=0)

x = range(importance.shape[0])
y = importance.ix[:, 0]
yerr = importance.ix[:, 1]

plt.bar(x, y, yerr=yerr, align="center")

plt.show()

Varsayılan ağaç sayısı 10 olan RandomForest kullanıyorsunuz. Yaklaşık 30 özellik için bu çok az. Bu nedenle standart sapma büyüktür. En az 100 hatta 1000 ağacı deneyin.

clf = RandomForestClassifier(n_estimators=1000)

Daha rafine bir analiz için özellikleriniz arasındaki ilişkinin ne kadar büyük olduğunu da kontrol edebilirsiniz.

Sonuç o kadar da garip değil. Lanenok'un belirttiği gibi, özellik adımlarıyla ilgili 'istatistiksel' bir sonuç elde ettiğinizden emin olmak için ilk adımda ağaç sayısını artırmalısınız.

Bununla birlikte, bu şekilde bir kağıt Genuer et al. (2010), özellikleri ortadan kaldırmak için standart sapmaları kullanabileceğinizi göstermektedir. Alıntılamak için: " Gerçek değişkenlerin standart sapmanın, sıfıra yakın olan gürültülü değişkenlere kıyasla büyük olduğunu görebiliriz. "

Deneyin clf = RandomForestClassifier(max_features=None). max_featuresParam varsayılan için 'auto'olan eşdeğerdir sqrt(n_features). max_features"En iyi ayrımı ararken göz önünde bulundurulması gereken özellik sayısı" olarak tanımlanır. Karar ağacının herhangi bir noktasında sadece az sayıda özelliğe bakmak, tek bir özelliğin öneminin birçok ağaçta büyük ölçüde değişebileceği anlamına gelir. Bu nedenle, rastgele bir alt kümeye bakmayın, sadece ağacın her seviyesindeki tüm özelliklere bakın.

Bunun yaygın bir nedeni, sağladığınız (veya varsayılan) parametrelerin RandomForestClassifierveri kümeniz için uygun olmamasıdır.

Bu sorunu ele almanın yaygın bir yolu, hiperparametre boşluğunu örneğin kullanarak aramaktır GridSearchCV:

from sklearn.model_selection import GridSearchCV
from sklearn.metrics import accuracy_score, make_scorer

param_grid = {'n_estimators': [10, 100, 1000], 'max_features': [5, 10, 20, 30]}
clf = GridSearchCV(RandomForestClassifier(), param_grid, cv=5, scoring=make_scorer(accuracy_score))

param_gridİşte aramak istediğiniz parametrelerin permütasyonları ve make_scorer(accuracy_score)optimize etmek istediğiniz ölçü.

accuracy_scoreDengeli setler için uygun olduğunu , ancak dengesiz setler için uygun olmadığını unutmayın . Özel hedefinize uygun bir metrik seçin.

Birden fazla neden olabilir. Ağaç sayısı ve derinlik sonuçlarınızı değiştirebilir. Modeliniz parametreleri seçtikten sonra iyi performans göstermiyorsa (çapraz doğrulama vb.), Muhtemelen özellikleriniz çok öngörücü olmadığından, ağaçtan ağaca yüksek standart sapmalara neden olan neredeyse "rastgele" seçilirler. Ancak başka olasılıklar da vardır, örneğin, özelliklerinizin yüksek derecede korelasyonlu olması da olabilir. Biraz daha fazla bilgi yardımcı olacaktır.