Hangisi rastgele bir orman ağacı için daha iyi bir maliyet fonksiyonudur: Gini indeksi veya entropi?

Clojure'da rasgele orman uygulamaya çalışıyorum.

classification random-forest cart

— Vivek
kaynak

Veri Madenciliğine Giriş bölümünde Tan. al:

Çalışmalar, safsızlık ölçümü seçiminin karar ağacı indüksiyon algoritmalarının performansı üzerinde çok az etkisi olduğunu göstermiştir. Bunun nedeni birçok safsızlık önleminin birbiriyle oldukça tutarlıdır [...]. Gerçekten de, ağacı budamak için kullanılan stratejinin, son ağaç üzerinde safsızlık ölçümü seçiminden daha büyük bir etkisi vardır.

Bu nedenle, CART gibi Gini dizinini veya C4.5 gibi Entropi'yi kullanmayı seçebilirsiniz.

Entropy'yi, daha özel olarak C4.5'in Kazanım Oranını kullanacağım çünkü Quinlan: C4.5'in Makine Öğrenimi Programları tarafından iyi yazılmış kitabı kolayca takip edebilirsiniz.

— Simone
kaynak

Küçük açıklama - entropi günlükleri kullanır, hesaplamalı bir zaman sorunu olabilir.

Bu söz, rastgele ormanlarla değil saf karar ağaçları ile ilgilidir. Genellikle rastgele bir ormanda bir ağaç budamazsınız çünkü en iyi ağacı kurmaya çalışmıyorsunuzdur. Bu nedenle, neyin daha önemli olduğu hakkında konuşmak yanıltıcı görünüyor: budama veya safsızlık ölçüsü. Amaç rastgele ormanla kullanılacak en iyi ağacı bulmaktır.

— Chan-Ho Suh