Tam ağacı büyütürseniz, önce en iyisi (yaprak-bilge) ve önce derinliği (seviye-bilge) aynı ağaç ile sonuçlanır. Fark ise sırayla ağaç genişletilmiş edildiği. Normalde ağaçları tam derinliklerinde yetiştirmediğimiz için, sipariş önemlidir: erken durma kriterleri ve budama yöntemlerinin uygulanması çok farklı ağaçlarla sonuçlanabilir. Yaprak-bilge, sadece belirli bir daldaki kayıplara değil, küresel kayıplara katkılarına bağlı olarak bölünmeler seçtiği için, genellikle (her zaman değil) düşük hata ağaçlarını seviye-bilenden daha hızlı öğrenecektir. Yani, az sayıda düğüm için, yaprak-bilge muhtemelen seviye-bilge olarak gerçekleştirecektir. Daha fazla düğüm ekledikçe, durmadan veya budamadan aynı performansa yakınlaşacaklar, çünkü sonunda aynı ağacı oluşturacaklar.
Referans:
Shi, H. (2007). En İyi İlk Karar Ağacı Öğrenimi (Tezli, Yüksek Lisans). Waikato Üniversitesi, Hamilton, Yeni Zelanda. Https://hdl.handle.net/10289/2317 adresinden erişildi.
DÜZENLEME: İlk sorunuzla ilgili olarak, hem C4.5 hem de CART en iyisi değil, önce derinlik ilk örnekleridir. Yukarıdaki referanstaki bazı alakalı içerikler şunlardır:
1.2.1 Standart karar ağaçları
Karar ağaçlarının yukarıdan aşağıya indüksiyonu için C4.5 (Quinlan, 1993) ve CART (Breiman ve diğerleri, 1984) gibi standart algoritmalar, bölme ve fethetme stratejisini kullanarak düğümleri her adımda derinlemesine birinci sırada genişletir. Normalde, bir karar ağacının her bir düğümünde, test sadece tek bir özellik içerir ve özellik değeri bir sabitle karşılaştırılır. Standart karar ağaçlarının temel fikri, önce kök düğüme yerleştirilecek bir öznitelik seçmek ve bazı özniteliklere (örneğin bilgi veya Gini indeksi) dayanarak bu öznitelik için bazı dallar yapmaktır. Ardından, eğitim örneklerini kök düğümden uzanan her dal için bir tane olmak üzere alt kümelere ayırın. Alt kümelerin sayısı şube sayısıyla aynıdır. Daha sonra, bu adım, yalnızca gerçekte ona ulaşan örnekleri kullanarak seçilen bir dal için tekrarlanır. Sabit bir sıra düğümleri genişletmek için kullanılır (normalde soldan sağa). Herhangi bir zamanda bir düğümdeki tüm örneklerin, saf düğüm olarak bilinen aynı sınıf etiketine sahip olması durumunda, bölme durur ve düğüm bir terminal düğümüne yapılır. Bu yapım süreci tüm düğümler saf olana kadar devam eder. Daha sonra fazla teçhizatları azaltmak için bir budama işlemi takip eder (bkz. Bölüm 1.3).
1.2.2 En iyi ilk karar ağaçları
Şimdiye kadar sadece artırma algoritmaları bağlamında değerlendirilen bir başka olasılık (Friedman ve ark., 2000), düğümleri sabit bir sıra yerine en iyi ilk sırada genişletmektir. Bu yöntem, her adımda ağaca "en iyi" bölünmüş düğümü ekler. "En iyi" düğüm, bölme için kullanılabilir tüm düğümler (yani terminal düğümleri olarak etiketlenmemiş) arasındaki safsızlığı maksimum düzeyde azaltan düğümdür. Bu, standart derinlik-ilk genişleme ile aynı şekilde tamamen büyümüş bir ağaçla sonuçlansa da, genişletme sayısını seçmek için çapraz doğrulama kullanan yeni ağaç budama yöntemlerini araştırmamızı sağlar. Hem budama hem de budama sonrası bu şekilde yapılabilir, bu da aralarında adil bir karşılaştırma yapılmasını sağlar (bkz. Bölüm 1.3).
En iyi ilk karar ağaçları, standart derinlik-ilk karar ağaçlarına benzer şekilde böl ve fethet tarzında inşa edilir. En iyi ilk ağacın nasıl inşa edildiğine dair temel fikir aşağıdaki gibidir. İlk olarak, kök düğüme yerleştirilecek bir öznitelik seçin ve bu ölçüt için bazı ölçütlere göre bazı dallar oluşturun. Ardından, eğitim örneklerini kök düğümden uzanan her dal için bir tane olmak üzere alt kümelere ayırın. Bu tezde sadece ikili karar ağaçları dikkate alınmıştır ve bu nedenle dal sayısı tam olarak ikidir. Daha sonra, bu adım, yalnızca gerçekte ona ulaşan örnekleri kullanarak seçilen bir dal için tekrarlanır. Her adımda, genişletmeler için mevcut olan tüm alt kümeler arasından "en iyi" alt kümesini seçiyoruz. Bu oluşturma işlemi, tüm düğümler saf olana veya belirli sayıda genişlemeye ulaşılana kadar devam eder. Şekil 1. Şekil 1, varsayımsal bir ikili en iyi-birinci ağaç ile varsayımsal bir ikili derinlik-birinci ağaç arasındaki ayrık sıradaki farkı göstermektedir. En iyi ilk ağaç için diğer siparişlerin seçilebileceğini, ancak siparişin derinlik ilkinde her zaman aynı olduğunu unutmayın.
