Sınıflandırma ve regresyon ağaçlarının arkasındaki matematik

14

Herkes CART'ta sınıflandırmanın ardındaki bazı matematiği açıklamaya yardımcı olabilir mi? İki ana aşamanın nasıl gerçekleştiğini anlamak istiyorum. Örneğin, bir veri kümesi üzerinde bir CART sınıflandırıcısı eğittim ve tahmini performansını işaretlemek için bir test veri kümesi kullandım ancak:

Ağacın ilk kökü nasıl seçilir?
Her dal neden ve nasıl oluşturulur?

15 sütun ve 23 sınıf ile 400 bin kayıt olan veri setim bir karışıklık matrisinden% 100 doğruluk sağlıyor, veri setinde 10 kat çapraz değerleme kullanıyorum. Birisi CART sınıflandırmasının aşamalarını açıklamaya yardımcı olabilirse gerçekten harika olurdu?

— G Gr
kaynak

24

$T$ $A$ $A \le x$ $T$

$T_l = \{ t \in T: t(A) \le x \}$

ve

$T_r = \{ t \in T: t(A) > x \}$

$B$ $B = \{b_1, \dots, b_k\}$ $i$ $B = b_i$

Karar ağacını indüklemek için özyinelemeli algoritmanın bölünme adımı, her özellik için olası tüm bölünmeleri dikkate alır ve seçilen bir kalite ölçüsüne göre en iyi olanı bulmaya çalışır: bölme kriteri. Veri kümeniz aşağıdaki şemada oluşturulmuşsa

A_{1}, \dots, A_{m}, C

$A_1, \dots, A_m, C$

$A_j$ $C$ $(E_1, E_2, \dots, E_k)$ $E$ $I(\cdot)$

Δ = I (E) - \sum_{i = 1}^{k} \frac{| E_{i} |}{| E |} I (E_{i})

$\Delta = I(E) - \sum_{i=1}^{k}\frac{|E_i|}{|E|}I(E_i)$

$E$ $p_j$ $E$ $c_j$

p_{j} = \frac{| {t \in E : t [C] = c_{j}} |}{| E |}

$p_j = \frac{|\{t \in E:t[C] = c_j\}|}{|E|}$

G i n i (E) = 1 - \sum_{j = 1}^{Q} p_{j}^{2}

$\mathit{Gini}(E) = 1 - \sum_{j=1}^{Q}p_j^2$

Q

$Q$

Tüm kayıtlar aynı sınıfa ait olduğunda 0 safsızlığa yol açar.

$T$ $(1/2, 1/2)$ $T$

İyi bölünme

$T_l$ $(1,0)$ $T_r$ $(0,1)$ $T_l$ $T_r$ $|T_l|/|T| = |T_r|/|T| = 1/2$ $\Delta$

Δ = 1 - 1 / 2^{2} - 1 / 2^{2} - 0 - 0 = 1 / 2

$\Delta = 1 - 1/2^2 - 1/2^2 - 0 - 0 = 1/2$

$\Delta$ Bozuk bölme

Δ = 1 - 1 / 2^{2} - 1 / 2^{2} - 1 / 2 (1 - (3 / 4)^{2} - (1 / 4)^{2}) - 1 / 2 (1 - (1 / 4)^{2} - (3 / 4)^{2}) = 1 / 2 - 1 / 2 (3 / 8) - 1 / 2 (3 / 8) = 1 / 8

$\Delta = 1 - 1/2^2 - 1/2^2 - 1/2 \bigg( 1 - (3/4)^2 - (1/4)^2 \bigg) - 1/2 \bigg( 1 - (1/4)^2 - (3/4)^2 \bigg) = 1/2 - 1/2(3/8) - 1/2(3/8) = 1/8$

İlk bölme en iyi bölme olarak seçilir ve daha sonra algoritma özyinelemeli bir şekilde ilerler.

Yeni bir örneği bir karar ağacı ile sınıflandırmak kolaydır, aslında kök düğümden bir yaprağa giden yolu takip etmek yeterlidir. Bir kayıt ulaştığı yaprağın çoğunluk sınıfıyla sınıflandırılır.

Diyelim ki bu rakamdaki kareyi sınıflandırmak istiyoruz

İki özellik veri kümesi

$A,B,C$ $C$ $A$ $B$

Olası bir karar ağacı aşağıdakiler olabilir: resim açıklamasını buraya girin

Rekor olduğu açıktır kare kayıt çevrelerinde ile etiketlenmiş bir yaprağın üzerine düştüğünü verilen bir çember olarak karar ağacı tarafından sınıflandırılır.

Bu oyuncak örneğinde, eğitim seti üzerindeki doğruluk% 100'dür çünkü hiçbir kayıt ağaç tarafından yanlış sınıflandırılmaz. Yukarıdaki eğitim setinin grafik sunumunda, ağacın yeni örnekleri sınıflandırmak için kullandığı sınırları (gri kesik çizgiler) görebiliriz.

Karar ağaçları hakkında çok sayıda literatür var, sadece kabataslak bir giriş yazmak istedim. Bir başka ünlü uygulama C4.5.

— Simone
kaynak

1

harika diyagramlar!

— Cam.Davidson.Pilon

Teşekkürler, ne yazık ki editörün PDF formatında yüklemeyi desteklemediği anlaşılıyor. Onlar vektöreldi.

— Simone

2

CART'larda uzman değilim, ancak çevrimiçi olarak ücretsiz olarak sunulan "İstatistiksel Öğrenmenin Unsurları" kitabını deneyebilirsiniz (CART'lar için bölüm 9'a bakın). Kitabın CART algoritmasının (Friedman) yaratıcılarından biri tarafından yazıldığına inanıyorum.

— Bitsel
kaynak

Bu çok yardımcı oldu! +1 parlak bul!

— G Gr

@GarrithGraham sorun değil, bu ücretsiz kitabın "iyi bilinen bir sır" olduğunu düşündüm.

— Bitwise