Gini azalması ve çocuk düğümlerinin Gini safsızlığı

Rastgele orman için Gini özelliği önem ölçüsü üzerinde çalışıyorum. Bu nedenle, düğüm safsızlığında Gini azalmasını hesaplamam gerekiyor. İşte böyle yapıyorum, bu tanımla çatışmaya yol açıyor, bir yerde yanlış olmam gerektiğini gösteriyor ... :)

Bir ikili ağaç için ve sol ve sağ çocukların olasılıkları göz önüne alındığında, düğümünün Gini safsızlığını hesaplayabilirim $n$ :

i (n) = 1 - p_{l}^{2} - p_{r}^{2}

$i(n) = 1 - p_l^2 - p_r^2$

Ve Gini azalır:

Δ i (n) = i (n) - p_{l} i (n_{l}) - p_{r} i (n_{r})

$\Delta i(n) = i(n) - p_li(n_l) - p_ri(n_r)$

Yani, bir düğüm üzerinde 110 gözlem içeren bu örnek için:

- node (110)
   - left (100)
      - left_left (60)
      - left_right (40)
   - right (10)
      - right_left (5)
      - right_right (5)

Düğüm için Gini azalmasını hesaplardım böyle :

\begin{aligned} i (l e f t) & = 1 - (60 / 100)^{²} - (40 / 100)^{²} & = 0.48 \\ i (r i g h t) & = 1 - (5 / 10)^{²} - (5 / 10)^{²} & = 0.50 \\ i (n o d e) & = 1 - (100 / 110)^{²} - (10 / 110)^{²} & = 0.16 \end{aligned}

$\begin{align} i({\rm left}) &= 1 - (60/100)^² - (40/100)^²& &= 0.48 \\ i({\rm right}) &= 1 - (5/10)^² - (5/10)^²& &= 0.50 \\ i({\rm node}) &= 1 - (100/110)^² - (10/110)^²& &= 0.16 \end{align}$

Ama Breiman tanımını aşağıdaki (veya CV bu cevabı: CART kullanırken / rütbe "değişken önemi" nasıl değerlendirilmeli ama başvurulan kitaba erişimi olmayan), azalanı kirlilik kriter olmalıdır az ebeveyn daha düğüm:

Gini önemi
Değişken m'de bir düğümün bölünmesi her yapıldığında, iki inen düğüm için gini safsızlık kriteri ana düğümden daha azdır. Ormandaki tüm ağaçlar üzerinde her bir değişken için gini azalmaları toplanması, genellikle permütasyon önem ölçüsü ile çok tutarlı olan hızlı değişken bir önem verir.

Aksi takdirde, negatif Gini azalmasına neden olur ...

Δ i (n o d e) = i (n o d e) - (100 / 110) * i (l e f t) - (10 / 110) * i (r i g h t) = - 0.32

$\Delta i({\rm node}) = i({\rm node}) - (100/110)*i({\rm left}) - (10/110)*i({\rm right}) = -0.32$

Birisi nerede olduğumu söyleyebilseydi, çok minnettar olurum çünkü burada belirgin bir şeyi özlediğim gibi görünüyor ...

feature-selection random-forest cart

— Remi Mélisson
kaynak

Hedef sınıf değişkenini hiç kullanmadınız. Gini safsızlığı diğer tüm safsızlık fonksiyonları gibi, bir bölünmeden sonra çıktıların safsızlığını ölçer. Yaptığınız şey, sadece örneklem büyüklüğü kullanarak bir şeyi ölçmektir.

Vakanız için formül türetmeye çalışıyorum.

Sadelik için bir ikili sınıflandırıcıya sahip olduğunuzu varsayalım. ile test niteliğini, ile olan sınıf niteliğini belirtin $A$ $C$ $c_+, c_-$ değerlerine .

Bölme öncesi ilk gini indeksi ; burada , sınıf değişkeni için değerine sahip veri noktalarının oranıdır .

I (A) = 1 - P (A_{+})^{2} - P (A_{-})^{2}

$I(A) = 1 - P(A_+)^2 - P(A_-)^2$

P (A_{+})

$P(A_+)$

c_{+}

$c_+$

Şimdi, sol düğüm için safsızlık burada

I (A l) = 1 - P (A l_{+})^{2} - P (A l_{-})^{2}

$I(Al) = 1 - P(Al_+)^2-P(Al_-)^2$

I (A r) = 1 - P (A r_{+})^{2} - P (A r_{-})^{2}

$I(Ar) = 1 - P(Ar_+)^2-P(Ar_-)^2$

P (A l_{+})

$P(Al_+)$ sınıf değişkeninde

değerine sahip

sol alt kümesinden veri noktalarının oranıdır .

A

$A$

c_{+}

$c_+$

Şimdi GiniGain için son formül

burada örneklerin oranıdır sol alt küme veya

G i n i G a i n (A) = I (A) - p_{l e f t} I (A l) - p_{r i g h t} I (A r)

$GiniGain(A) = I(A) - p_{left}I(Al) - p_{right}I(Ar)$

p_{l e f t}

$p_{left}$

(sol alt kümede kaç eşgörünümün

toplam eşgörünüm sayısına bölümüdür.

\frac{# | A l |}{# | A l | + # | A r |}

$\frac{\#|Al|}{\#|Al|+\#|Ar|}$

A

$A$

Gösterimin geliştirilebileceğini hissediyorum, daha fazla zamanım olduğunda daha sonra izleyeceğim.

Sonuç

Sadece veri noktası sayısını kullanmak yeterli değildir, safsızlık, bir özelliğin (test özelliği) başka bir özelliğin (sınıf özelliği) dağılımını ne kadar iyi üretebileceği anlamına gelir. Test özelliği dağıtımı, kullandığınız sayıyı üretir (nasıl sola, nasıl sağa), ancak sınıf özelliğinin dağıtımı formüllerinizde kullanılmaz.

Daha sonra düzenleme - neden azaldığını kanıtlayın

Şimdi alt düğümdeki gini indeksinin neden üst düğümden daha az olduğunu kanıtlayan kısmı kaçırdığımı fark ettim. Tam bir kanıtım veya doğrulanmış bir kanıtım yok, ancak geçerli bir kanıt olduğunu düşünüyorum. Konuyla ilgili diğer enteresan şeyler için Teknik Not: Ayırma Kriterleri - Leo Breiman'ın Bazı Özellikleri'ni kontrol edebilirsiniz . Şimdi kanıtımı takip edecek.

$(a,b)$ $a$ $b$ $(a,b)$

En iyi bölünmeyi bulmak için, örnekleri bir test özelliğine göre sıralarız ve olası tüm ikili bölünmeleri deneriz. Belirli bir özellik tarafından sıralanan, aslında sınıfların birinci sınıfın veya ikinci sınıfın bir örneğiyle başladığı örneklerin permütasyonudur. Genelliği kaybetmeden, birinci sınıfın bir örneğiyle başladığını varsayalım (eğer durum böyle değilse, aynı hesaplama ile bir ayna kanıtı var).

$(1,0)$ $(a-1,b)$ $h(left) = 1 - (1/1)^2 - (0/1)^2 = 0$ . Yani sol tarafta daha küçük bir gini indeks değerine sahibiz. Doğru düğüme ne dersiniz?

h (p a r e n t) = 1 - (\frac{a}{a + b})^{2} - (\frac{b}{a + b})^{2}

$h(parent) = 1 - (\frac{a}{a+b})^2 - (\frac{b}{a+b})^2$

h (r i g h t) = 1 - (\frac{a - 1}{(a - 1) + b})^{2} - (\frac{b}{(a - 1) + b})^{2}

$h(right) = 1 - (\frac{a-1}{(a-1)+b})^2 - (\frac{b}{(a-1)+b})^2$

Considering that $a$ is greater or equal than $0$ (since otherwise how could we separate an instance of the first class in the left node?) and after simplification it's simple to see that the gini index for the right node has a smaller value than for the parent node.

Now the final stage of the proof is to node that while considering all the possible split points dictated by the data we have, we keep the one which has the smallest aggregated gini index, which means that the optimum we choose is less or equal than the trivial one which I prooved that is smaller. Which concludes that in the end the gini index will decrease.

As a final conclusion we have to note even if various splits can give values bigger that parent node, the one that we choose will be the smallest among them and also smaller that the parent gini index value.

Hope it helps.

— rapaio
kaynak

Thank you very much, you unlocked my brain... In fact, since I'm dealing with regression trees, using the target class variable appeared less obvious than for a pure classification task. But it now totally makes sense.

— Remi Mélisson

I updated the answer to contain the missing parts.

— rapaio