Rastgele orman aşırı uyuyor

Ben scikits-learn Rastgele Orman Regresyonu kullanmaya çalışıyorum. Sorun gerçekten yüksek bir test hatası alıyorum:

train MSE, 4.64, test MSE: 252.25.

Verilerim şöyle görünüyor: (mavi: gerçek veriler, yeşil: tahmin edilen):

Eğitim için% 90, test için% 10 kullanıyorum. Bu, birkaç parametre kombinasyonunu denedikten sonra kullandığım kod:

rf = rf = RandomForestRegressor(n_estimators=10, max_features=2, max_depth=1000, min_samples_leaf=1, min_samples_split=2, n_jobs=-1) 
test_mse = mean_squared_error(y_test, rf.predict(X_test))
train_mse = mean_squared_error(y_train, rf.predict(X_train))

print("train MSE, %.4f, test MSE: %.4f" % (train_mse, test_mse))
plot(rf.predict(X))
plot(y)

Donanımımı geliştirmek için olası stratejiler nelerdir? Altta yatan modeli çıkarmak için yapabileceğim başka bir şey var mı? Aynı modelin birçok tekrarından sonra modelin yeni verilerle çok kötü davrandığı bana inanılmaz geliyor. Bu verilere uymaya çalışmak konusunda hiç umudum var mı?

Sanırım yanlış araç kullanıyorsunuz; X'inizin tamamı dizine eşdeğerse, temel olarak bazı örneklenmiş işlevlerine sahip oluyorsunuz ve onu tahmin etmeye çalışıyorsunuz. Makine öğrenimi tamamen tarihin enterpolasyonu ile ilgilidir, bu nedenle bu durumda muhteşem başarısızlık elde etmesi şaşırtıcı değildir.$f:\mathbb{R}\rightarrow\mathbb{R}$

İhtiyacınız olan şey bir zaman serisi analizi (yani eğilim çıkarma, spektrumu analiz etme ve geri kalanı otomatikleştirme veya geri kalanı HMMing) veya fiziktir (yani, bu çıktıyı üretebilecek bir ODE olup olmadığını düşünmek ve parametrelerini korunmuş miktarlar ile uydurmaya çalışmak).

En büyük sorun, regresyon ağaçlarının (ve rastgele ormanlar gibi bunlara dayanan algoritmaların) parçalı sabit fonksiyonları öngörmesi ve her yaprağın altına düşen girdiler için sabit bir değer vermesidir. Bu, eğitim alanlarının dışında tahmin edildiklerinde, eğitim verilerinin olduğu en yakın nokta için yaptıkları değeri tahmin ettikleri anlamına gelir. @mbq, zaman dizisini öğrenmek için büyük olasılıkla genel makine öğrenimi tekniklerinden daha iyi olacak özel araçlar olduğu konusunda doğrudur. Bununla birlikte, rastgele ormanlar bu örnek için özellikle kötüdür ve diğer genel ML teknikleri muhtemelen gördüğünüzden çok daha iyi performans gösterecektir. Doğrusal olmayan çekirdeklere sahip SVM'ler akla gelen bir seçenektir. İşlevin periyodik yapısı olduğundan, bu aynı zamanda frekans etki alanının,

Bu, aşırı veri uyumu için bir ders kitabı örneğidir, model eğitimli verilerde çok iyi sonuç verir, ancak yeni test verilerinde daraltır. Bu, bunu ele alan stratejilerden biridir: Parametreleri optimize etmek için eğitim verilerinin on kat çapraz doğrulamasını yapın.

Adım 1. NM optimizasyonunu kullanarak bir MSE küçültme fonksiyonu oluşturun. Burada bir örnek görülebilir: http://glowingpython.blogspot.de/2011/05/curve-fitting-using-fmin.html

Adım 2. Bu minimizasyon fonksiyonu içinde amaç MSE'yi azaltmaktır. Bunu yapmak için, 9 katta yeni bir modelin öğrenildiği ve 10. katta test edildiği verilerin on katını oluşturun. Her kat üzerinde MSE elde etmek için bu işlem on kez tekrarlanır. Toplanan MSE, hedefin sonucu olarak geri döndürülür.

Adım 3. Python'daki fmin sizin için yinelemeleri yapacak. Hangi hiper parametrelerin ince ayarlanması gerektiğini kontrol edin (n_estimators, max_features vb.) Ve bunları fmin'e aktarın.

Sonuç, aşırı takılma olasılığını azaltacak en iyi hiper parametreleri olacaktır.

Bazı öneriler:

1. Değişken pencere yaklaşımı kullanarak parametrelerinizi ayarlayın (modeliniz , verilenler arasında değerleri tahmin etmek için değil, zaman serisindeki bir sonraki değerleri tahmin etmek için optimize edilmelidir )
2. Diğer modelleri deneyin (daha basit olanlar, doğru özellik seçimi ve özellik mühendisliği stratejileriyle, sorununuza daha uygun olabilir)
3. Hedef değişkenin optimal dönüşümlerini öğrenmeye çalışın (bunu da ayarlayın, negatif doğrusal / üstel eğilim var, tahmin edebilirsiniz)
4. Spektral analiz belki
5. Maksima / minima eşit aralıklı görünüyor. Özelliklerinizin nerede verildiğini öğrenin (operatör girişi yok, bir algoritmanın önyargıyı kaldırmak için keşfetmesini sağlayın) ve bunu bir özellik olarak ekleyin. Ayrıca bir özellik tasarlar nearest maximum. Dunno, işe yarayabilir veya belki de çalışmayabilir, ancak test edip edemeyeceğinizi biliyorsunuz :)

$x^2$$x_2$

Yukarıdaki yazıyı okuduktan sonra farklı bir cevap vermek istiyorum.

Rastgele orman gibi ağaç tabanlı modeller için, eğitim setinin ötesindeki değeri tahmin edemezler. Bu yüzden bunun aşırı uyumlu bir sorun olduğunu düşünmüyorum, ama yanlış bir modelleme stratejisi.

Peki, ağaç modeli ile zaman serisi tahmini için ne yapabiliriz?

Olası yol onu lineer regresyon ile birleştirmektir: ilk önce zaman serilerini (veya lineer regresyon ile modelleme eğilimini) deraltın, daha sonra artığı ağaçlarla modelleyin (artıklar sınırlıdır, böylece ağaç modelleri bunu halledebilir).

Ayrıca, doğrusal regresyon ile kombine bir ağaç modeli var, kübist denir, yaprak üzerinde doğrusal regresyon yapar.

Sadece grafiğin sınırları dahilinde tahmin etmek istiyorsanız, veri kümesini bölmeden önce gözlemleri rastgele seçmek sorunu çözmelidir. Daha sonra gösterildiği gibi ekstrapolasyondan bir enterpolasyon problemi haline gelir.