Breiman'ın rastgele ormanı bilgi kazancı veya Gini endeksi kullanıyor mu?

Breiman'ın rastgele ormanının (R randomForest paketindeki rastgele orman) bir bölme kriteri (özellik seçimi için kriter) bilgi kazancı veya Gini endeksi olarak kullanılıp kullanılmadığını bilmek ister misiniz? Ben http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm ve R'deki randomForest paketinin belgelerinde bulmaya çalıştım. Ama bulduğum tek şey Gini indeksinin değişken öneme sahip hesaplama.

A. Liaw tarafından R'deki randomForest paketi, orijinal kodun, kalan bazı fortran kodu ve R sarıcı kodunun bir c-kodu (çevrilmiş) karışımı olan bir portudur. Kırılma noktaları ve mtry değişkenleri arasındaki en iyi bölünmeye karar vermek için kod, gini kazanımına benzer bir puanlama işlevi kullanır:

$GiniGain(N,X)=Gini(N)-\frac{\lvert N_{1} \rvert }{\lvert N \rvert }Gini(N_{1})-\frac{\lvert N_{2} \rvert }{\lvert N \rvert }Gini(N_{2})$

belirli bir özellik olduğu durumlarda , ayrıştırmanın yapılacağı düğümdür ve ve , ayrılmasıyla oluşturulan iki alt düğümdür . , bir düğümdeki öğelerin sayısıdır.N N 1 N 2 N | . $X$$N$$N_{1}$$N_{2}$$N$$\lvert . \rvert$

Ve , burada düğümdeki kategori sayısıdır$Gini(N)=1-\sum_{k=1}^{K}p_{k}^2$$K$

Ancak uygulanan puanlama işlevi tam olarak aynı değildir, bunun yerine eşdeğer daha hesaplamalı verimli bir sürümdür. ve | N | karşılaştırılan tüm bölünmeler için sabittir ve bu nedenle atlanır.$Gini(N)$

Ayrıca bir düğümdeki (1) kare yaygınlık toplamı$\frac{\lvert N_{2} \rvert }{\lvert N \rvert }Gini(N_{2}) \propto |N_2| Gini(N_{2}) = |N_2| (1-\sum_{k=1}^{K}p_{k}^2 ) = |N_2| \sum \frac{nclass_{2,k}^2}{|N_2|^2}$

burada , 1. düğümdeki hedef-sınıf k'nin sınıf sayısıdır. Uyarıhem aday hem de paydaya yerleştirilir.$nclass_{1,k}$$|N_2|$

önemsiz sabiti denklemden çıkarmak, böylece en iyi bölünmüş karar, kare sınıfı yaygınlık düğümleri boyut ağırlıklı toplamını en üst düzeye çıkarmaktır ...$1-$

puan = $|N_1| \sum_{k=1}^{K}p_{1,k}^2 + |N_2| \sum_{k=1}^{K}p_{2,k}^2 = |N_1|\sum_{k=1}^{K}\frac{nclass_{1,k}^2}{|N_1|^2} + |N_2|\sum_{k=1}^{K}\frac{nclass_{2,k}^2}{|N_2|^2}$ $= \sum_{k=1}^{K}\frac{nclass_{2,k}^2}{1} |N_1|^{-1} + \sum_{k=1}^{K}\frac{nclass_{2,k}^2}{1} |N_1|^{-2}$ $= nominator_1/denominator_1 + nominator_2/denominator_2$

Uygulama aynı zamanda numunelerin klasik olarak yukarı / aşağı ağırlıklandırılmasına da izin verir. Uygulama, bu modifiye gini kazanımını güncellediğinde çok önemlidir, tek bir numuneyi bir düğümden diğerine taşımak çok etkilidir. Örnek bir düğümün adaylayıcılarından / paydalarından çıkarılabilir ve diğerlerine eklenebilir. Birkaç ay önce bir prototip RF yazdım, cahil olarak her kırılma noktası için sıfır gini kazanımından yeniden hesapladım ve bu daha yavaştı :)

Eğer birkaç bölme skoru en iyisi ise, rastgele bir kazanan seçilir.

Bu yanıt, kaynak dosya "randomForest.xxtar.gz / src / classTree.c" satırının 209-250 incelenmesine dayanıyordu.