Karar ağaçlarını optimize etme algoritması

Arka fon

İkili karar ağacı , her iç düğümün (ve kökün) dizininde indeksiyle etiketlendiği ve kökten yaprağa hiçbir yolun bir dizini tekrarlamadığı köklü bir ağaçtır , yapraklar içindeki çıkışlarla etiketlenir ve her kenar sol çocuk için ve sağ çocuk için olarak etiketlenir . girişine ağaç uygulamak için :$T$$j \in \{1,..., n\}$$\{A,B\}$$0$$1$$x$

1. Kökten başlayın
2. eğer yaprakdaysanız, veya yaprak etiketini çıkarır ve sonlandırırsınız$A$$B$
3. Geçerli düğümünüzün etiketini okuyun , eğer ise sol alt , ise sağ alt .$j$$x_j = 0$$x_j = 1$
4. adım 2'ye atla

Ağaç, özellikle bir ağaç, söz gelimi bir fonksiyonunu değerlendirmek için bir yol olarak kullanılan toplam fonksiyonu temsil eder için ise, her elimizdeki . Bir ağacın sorgu karmaşıklığı derinliğidir ve bir işlevin sorgu karmaşıklığı onu temsil eden en küçük ağacın derinliğidir.$T$$f$$x \in \{0,1\}^n$$T(x) = f(x)$

Sorun

Bir ikili karar ağacı T verildiğinde, T ve T 'aynı işlevi temsil edecek şekilde minimum derinlikte bir ikili karar ağacı T' verir.

Soru

Bunun için en iyi bilinen algoritma nedir? Daha düşük sınırlar biliniyor mu? Bildiğimiz eğer ? Sadece nin yaklaşık olarak minimum derinlikte olmasını istiyorsak ne olur?$\text{depth}(T') = O(\log \text{depth}(T))$$T'$

Saf yaklaşım

Saf yaklaşım verilir ardışık derinliği tüm ikili karar ağaçları numaralandırmak için bunlar aynı şey değerlendirilmesi ise test sırasında . Bu, Adımları gerektirmektedir ( in rastgele bir için neyi değerlendirdiğini kontrol etmek için adım sürdüğü varsayılarak ). Daha iyi bir yaklaşım var mı?d - 1 , T O ( d 2 , n , n $d = \text{depth}(T)$$d - 1$$T$dT(x)$O(\frac{d 2^n n!}{(n - d)!})$$d$$T(x)$$x$

Motivasyon

Bu soru, sorgu karmaşıklığı ve zaman karmaşıklığı arasındaki ödünleşime dair önceki bir soru tarafından motive edilmektedir . Özellikle, amaç toplam fonksiyonlar için zaman ayrımını sınırlamaktır. Biz bir ağaç yapabilir seferinde optimum algoritma ile çalışma zamanı gelen , sonra bir ağaca dönüştürmek istiyoruz sorgu optimum algoritması için. Ne yazık ki, (Ve genellikle ) darboğaz dönüşümdür. değiştirsek iyi olur gibi bir şeyle .t T ′ t ∈ O ( n ! / ( N - d ) ! ) D ∈ Θ ( n ) n ! / ( n - d ) ! 2 $T$$t$$T'$$t \in O(n!/(n - d)!)$$d \in \Theta(n)$$n!/(n - d)!$$2^d$

3 cevabım var, hepsi biraz farklı sertlik sonuçları veriyor.

Let bir fonksiyonu.$f: \{0,1\}^n \rightarrow \{0,1\}$

cevap 1

Bir karar ağacı Verilen hesaplama f ve bir numara, bir karar ağacı vardır olmadığını söylemek için NP-zor T ' bilgisayar f en fazla bu sayıyı boyutta. $T$$f$$T'$$f$( Zantema ve Bodlaender '00 )

Cevap 2

Bir f karar ağacı hesaplaması f verildiğinde , f en küçük karar ağacı f hesaplamasını sabit bir faktöre yaklaştırmak zordur . $T$$f$$f$( Sieling '08 )

Cevap 3

Let en küçük karar ağacı hesaplama boyutu olmak f . Bir karar ağacı verilen T işlem f varsayarak, N P ⊊ D , T I M E ( 2 n, ε ) bazı £ değerinin < 1 , bir eşdeğer bir karar ağacı bulamazsa T ' boyutta s k herhangi k ≥ 0 .$s$$f$$T$$f$$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$T'$$s^k$$k \ge 0$

Bu daha güçlü cevabın (daha zayıf bir varsayımdan yola çıkarak), karar ağaçları için Occam algoritmalarının öğrenme teorisindeki bilinen sonuçlardan aşağıdaki argüman yoluyla yapılabileceğini düşünüyorum:

1. O hakkında bir karar ağacı bulmak mümkün mü zamanında değişkenler n günlük ler nerede, s bir dağılım (PAC modeli) gelen örneklerle tutarlı en küçük bir karar ağacı. ( Blum '92 ) $n$$n^{\log s}$$s$
2. Varsayarak bazı £ değerinin < 1 , biz PAC öğrenmek Boyutu olamaz boyutuna göre karar ağaçları herhangi karar ağaçları . ( Alekhnovich ve diğerleri '07 )$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$s$$s^k$$k \ge 0$

Bu iki sonucun, sorununuz için bir sertlik sonucu olduğu anlaşılıyor. Bir yandan (1) büyük bir karar ağacı bulabiliriz; Öte yandan (2), boyutunda olsa bile, boyutunda eşdeğer bir "küçük" boyut elde etmek için onu en aza .$s^k$$s$