Random Forest algoritmasının optimize edilmiş uygulamaları

ALGLIB, Gofretler ve benzeri bazı R paketleri gibi birkaç rastgele ormanın uygulaması olduğunu fark ettim randomForest. Biri bana bu kütüphanelerin yüksek düzeyde optimize edilmiş olup olmadığını söyleyebilir mi? Temel olarak İstatiksel Öğrenim Öğeleri'nde ayrıntılandırıldığı gibi rastgele ormanlara eşdeğer mi veya çok fazla ilave numara eklenmiş mi?

Umarım bu soru yeterince açıktır. Aradığım cevap türünün bir örneği olarak, birisi bana BLAS doğrusal cebir paketinin son derece optimize edilip edilmediğini sorduysa, son derece yüksek derecede optimize edilmiş ve çoğunlukla çok özel uygulamalar dışında geliştirmeye çalışmaya değmeyeceğini söyleyebilirim.

(Yorumlardan gelen önerilerle 6 IX 2015 güncellendi, ayrıca CW yapıldı)

R için belirli iki koşul için oldukça iyi optimize edilmiş iki yeni ve güzel paket var:

• Ranger - için optimize edilmiş C ++, R, ambalaj, sorunlar, paralel, GWAS verilerin özel tedavi.$p>>n$
• Arborist - orta serili için optimize C ++, R ve Python bağlantıları, problemleri, GPGPU için görünüşte planlar.$n$

Diğer RF uygulamaları:

• Orijinal Bir - bağımsız Fortran kodu, paralel değil, kullanımı oldukça zor.
• randomForest - C, R paketi, muhtemelen en popüler, paralel değil, özellikle küçük veriler için, tek çekirdekli hız esasına göre oldukça hızlı.
• randomForestSRC - C, R paketi, paralel işleme ve hayatta kalma sorunlarını destekleyen randomForest klonu.
• parti - C, R paketi, oldukça yavaş, ancak RF ile deneme için bir uçak olarak tasarlandı.
• bigrf - çalışma için inşa C + / R, R paketi büyük veri içinde bigmemory çerçeve ; tamamlanmaktan oldukça uzak.
• scikit Learn Topluluk ormanı - scikit-learn çerçevesinin bir parçası olan Python, paralel olarak birçok RF türevi uygular.
• sütün RF - Python, süt çerçevesinin bir parçası.
• Gofretler - C ++, daha büyük ML araç setinin bir parçası, paralel ve oldukça hızlı.
• sözde WEKA rf - Java / WEKA, paralel.
• ALGLIB
• Rastgele Orman - terkedilmiş?
• rütbe - terkedilmiş mi?
• PARF - terk edildi?

Ranger kağıdında bazı hız / bellek karşılaştırmaları vardır, ancak ayrıntılı bir kıyaslama yok.

Bildiğim kadarıyla, randomForest'in R sürümü orijinal sürümle aynı Fortran kodunu çağırıyor. Ayrıca, randomForest işlevini paralelleştirmek önemsizdir. Aslında foreach belgelerinde verilen örneklerden biri .

library(foreach)
library(randomForest)
rf <- foreach(ntree = rep(250, 4), .combine = combine, .packages = "randomForest") %dopar% 
randomForest(x, y, ntree = ntree)

Rastgele ormanların utanç verici derecede paralel olduğu göz önüne alındığında, yapabileceğiniz en büyük optimizasyon onları paralel olarak çalıştırmaktır. Ondan sonra, algoritmada başka düşük meyveli meyve olduğunu sanmıyorum ama yanılıyor olabilirim.

Tek sorun, kombine ormandaki torba dışı hata tahminini kaybetmenizdir, ancak bunu hesaplamanın basit bir yolu vardır (aslında bunun nasıl yapıldığını öğrenmeyi çok isterim).

ELSII kullanılan randomForest (bakınız, örneğin, dipnot 3 p.591) bir R Breiman uygulanması ve Cutler olup, Fortran kodu Salford'ya olan. Andy Liaw'ın kodu C’de.

Parti paketinde önerilen bir başka RF uygulaması da vardır (C), BLAS'a bağımlı olan R / Lapack'e dayanır ( /include/R_ext/Lapack.htemel R dizininizde bakınız).

Torbalama ile ilgili olarak, paralelleştirmek çok zor olmamalı, ancak daha uzman kullanıcıların bu konuda cevap vermesine izin vereceğim.

RandomJungle'ın arkasındaki ekip, R randomForest uygulamasından daha hızlı bir büyüklük sırası olduğunu ve sipariş büyüklüğü için daha az bellek kullandığını iddia ediyor. R için randomJungle paketi geliştiriliyor, ancak henüz oluşturamıyorum.

https://r-forge.r-project.org/projects/rjungler/

İçin JavaScript Uygulanması bu demo geçmesi.

Çikolataya aç bir çocuk gibiyseniz, işte rastgele ormandan oluşan çikolata http://cs.stanford.edu/people/karpathy/svmjs/demo/demoforest.html