«random-forest» etiketlenmiş sorular

Rastgele ormanlarda oldukça yeniyim. Geçmişte, hep doğruluğunu karşılaştırdık testi vs oturması karşı trenle vs oturması herhangi overfitting algılamak için. Ama burada sadece şunu okudum : "Rasgele ormanlarda, test seti hatasının tarafsız bir tahminini elde etmek için çapraz validasyona veya ayrı bir test setine gerek yoktur. Dahili olarak, çalışma sırasında tahmin …

15 cross-validation  random-forest  overfitting 

Breiman'ın rastgele ormanının (R randomForest paketindeki rastgele orman) bir bölme kriteri (özellik seçimi için kriter) bilgi kazancı veya Gini endeksi olarak kullanılıp kullanılmadığını bilmek ister misiniz? Ben http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm ve R'deki randomForest paketinin belgelerinde bulmaya çalıştım. Ama bulduğum tek şey Gini indeksinin değişken öneme sahip hesaplama.

15 r  random-forest  entropy  gini 

Rastgele orman için Gini özelliği önem ölçüsü üzerinde çalışıyorum. Bu nedenle, düğüm safsızlığında Gini azalmasını hesaplamam gerekiyor. İşte böyle yapıyorum, bu tanımla çatışmaya yol açıyor, bir yerde yanlış olmam gerektiğini gösteriyor ... :) Bir ikili ağaç için ve sol ve sağ çocukların olasılıkları göz önüne alındığında, düğümünün Gini safsızlığını hesaplayabilirim …

15 feature-selection  random-forest  cart 

Ben scikits-learn Rastgele Orman Regresyonu kullanmaya çalışıyorum. Sorun gerçekten yüksek bir test hatası alıyorum: train MSE, 4.64, test MSE: 252.25. Verilerim şöyle görünüyor: (mavi: gerçek veriler, yeşil: tahmin edilen): Eğitim için% 90, test için% 10 kullanıyorum. Bu, birkaç parametre kombinasyonunu denedikten sonra kullandığım kod: rf = rf = RandomForestRegressor(n_estimators=10, max_features=2, …

15 regression  random-forest  scikit-learn 

Aslında Rastgele Ormanların bir uygulamasını yazıyorum ama sorunun karar ağaçlarına (RF'lerden bağımsız) özgü olduğuna inanıyorum. Yani bağlam, bir karar ağacında bir düğüm oluşturuyorum ve hem tahmin hem de hedef değişkenler süreklidir. Düğüm, verileri iki kümeye bölmek için bölünmüş bir eşik değerine sahiptir ve her kümedeki ortalama hedef değere dayalı olarak …

15 algorithms  cart  random-forest 

Diyelim ki Y yanıtımız ve X1, ...., Xn tahmincileri var. Y'yi X1, ...., Xn'in doğrusal bir modeli aracılığıyla sığdırmaya çalışsaydık ve Y ve X1, ..., Xn arasındaki gerçek ilişki doğrusal değildi. X'leri bir şekilde dönüştürüp sonra modeli takarak modeli düzeltmek için. Dahası, X1, ..., XN'in diğer özelliklerden bağımsız olarak y'yi …

15 machine-learning  random-forest 

Model değerlendirmesi için bootstrapping kullanırken, her zaman kullanıma hazır örneklerin doğrudan bir test seti olarak kullanıldığını düşündüm. Ancak, bunun için durum olmadığı görülüyor kaldırılan scikit-öğrenmeBootstrap dışı torba veri alt kümeden değiştirme ile çizim test kümesi oluşturmak gibi görünüyor yaklaşımı,. Bunun arkasındaki istatistiksel mantık nedir? Bu tekniğin sadece torba dışı örnek …

15 cross-validation  bootstrap  random-forest  scikit-learn  bagging 

Algoritmaları artırmak için, oldukça iyi geliştiklerini söyleyebilirim. 1995'in başlarında AdaBoost tanıtıldı, bir süre sonra Gradient Boosting Machine (GBM) oldu. Son zamanlarda, doğru, aşırı uyumu ele alan ve birden fazla Kaggle yarışmasının galibi haline gelen XGBoost 2015 civarında piyasaya sürüldü. 2017 yılında LightGBM Microsoft tarafından tanıtıldı, XGBoost'a kıyasla önemli ölçüde daha …

14 random-forest  boosting  bagging 

Biraz kafam karıştı: Eğitimli bir modelin şapka ile sonuçları orijinal paketteki modelden nasıl farklı olabilir? Caret paketi ile RandomForest FinalModel kullanarak tahmin öncesi önişlemenin gerekli olup olmadığını okudum ? ama burada herhangi bir ön işleme kullanmıyorum. Caret paketini kullanarak ve farklı mtry değerleri için ayarlayarak farklı Rastgele Ormanlar yetiştirdim. > …

14 r  machine-learning  random-forest  caret  train 

6 kategori arasında ayrım yapmak için Random Forest ile bir sınıflandırma modeli eğitimi alıyorum. İşlem verilerim yaklaşık 60k + gözlem ve 35 değişkene sahip. İşte yaklaşık olarak nasıl göründüğüne bir örnek. _________________________________________________ |user_id|acquisition_date|x_var_1|x_var_2| y_vay | |-------|----------------|-------|-------|--------| |111 | 2013-04-01 | 12 | US | group1 | |222 | 2013-04-12 | …

14 r  machine-learning  classification  random-forest 

Aşağıdaki işlemi kullanarak rastgele bir orman oluşturmak istiyorum: Bölmeleri belirlemek için bilgi kazancı kullanarak rastgele veri ve özellik örnekleri üzerinde bir ağaç oluşturun Bir yaprak düğümünü önceden tanımlanmış bir derinliği aşarsa YA DA herhangi bir ayrım, önceden tanımlanmış minimum değerden daha az bir yaprak sayısıyla sonuçlanır Her ağaç için bir …

14 classification  random-forest  lasso  ensemble 

RandomForest'i 6 hayvan davranışını (örneğin Ayakta, Yürüme, Yüzme vb.) 8 değişkene (farklı vücut duruşları ve hareket) göre sınıflandırmak için kullandım. RandomForest paketindeki MDSplot bana bu çıktıyı verir ve sonucu yorumlamada sorun yaşıyorum. Aynı veriler üzerinde bir PCA yaptım ve zaten PC1 ve PC2'deki tüm sınıflar arasında güzel bir ayrım yaptım, …

14 r  classification  random-forest  multidimensional-scaling 

1000 özellikli bilinen iki gruba ayrılan bir mikrodizi veri kümesine sınıflandırıcı olarak rastgele bir orman algoritması uyguluyorum. İlk çalıştırmadan sonra özelliklerin önemine bakıyorum ve 5, 10 ve 20 en önemli özellik ile ağaç algoritmasını tekrar çalıştırıyorum. Tüm özellikler için, ilk 10 ve 20'de OOB hata oranı tahmini% 1.19, burada ilk …

14 r  machine-learning  classification  random-forest 

Geleneksel olarak, uzunlamasına verileri, yani aşağıdaki gibi verileri modellemek için karışık model kullanırız: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 farklı kişiler için rastgele kesişme veya eğim …

14 machine-learning  data-transformation  random-forest  panel-data  large-data 

Aslında, kısmi bağımlılık planıyla bir kişinin neyi gösterebileceğini anladığımı sanıyordum, ama çok basit bir varsayımsal örnek kullanarak oldukça şaşırdım. Aşağıdaki kod yığınında, üç bağımsız değişken ( a , b , c ) ve bir bağımlı değişken ( y ) ile c , y ile yakın bir doğrusal ilişki gösterirken, a …

14 r  random-forest  boosting  partial-plot