Rasgele orman vs Adaboost

Rastgele Ormanlar (Breiman, 1999) makalesinin 7. bölümünde yazar şu varsayımı belirtmektedir: "Adaboost Rastgele Bir Orman".

Bunu kanıtlayan veya çürüten oldu mu? Bu yazıyı ispatlamak veya çürütmek için neler yapıldı?

machine-learning random-forest boosting

— Alex
kaynak

Lütfen stats.stackexchange.com/questions/77018/… adresini okuyun . Belki cevabınızı burada bulabilirsiniz

@ user75008 Teşekkürler! Dolayısıyla, bölüm 7 başka bir varsayım sağlar, öyle kanıtlanırsa, uyarlamanın rastgele ormana eşdeğer olduğunu gösterir. Herkes bu varsayımı doğru gösterdi mi?

— Alex

@ user75008 Bağlantınızı okuyorum, stats.stackexchange.com/questions/77018/… , sizce Adaboost'un Rastgele Ormana eşdeğer olmadığını gösteriyor?

— Alex

İlginç soru. O zamandan beri birkaç farklı taktikle ada güçlendirmeyi açıklamak için bir sürü çalışma yapıldı.

Hızlı bir literatür araştırması yaptım ve bu biraz garip kağıt konuyla ilgili en yeni makale gibi görünüyor ve aynı zamanda Brieman ve diğerleri tarafından yapılan bir dizi intercedent çalışmayı da gözden geçiriyor:

http://arxiv.org/pdf/1212.1108.pdf

Sonuçlarının geçerli olup olmadığı hakkında hiçbir fikrim yok, ancak Brieman'ın varsayımını kanıtlayamadıklarını iddia ettiler, ancak bunun, zayıflatıcı bir versiyonunun, önlemin korunduğunu ancak mutlaka ergodik olmadığını iddia ettiğini kanıtladığını iddia ettiler.

Ayrıca, uyarlamanın gerçekte bazen gereğinden fazla giydiğine dair bazı ampirik kanıtlar sunarlar.

Adaboost'un rastgele bir ormanla ilgili olabileceğini, ancak Brieman'ın tahmin ettiği şekilde tamamen (veya her zaman değil) eşdeğeri olabileceğini düşünüyorum.

— Ryan Bressler
kaynak

teşekkürler, bu yüzden bu hala açık bir soru, ama son ifadeniz anlatıyor.

— Alex

Evet, sanırım hala açık. Ayrıca [stokastik] gradyan artırma makineleri daha popüler hale geldikçe AdaBoost'u analiz etmeye olan ilginin azaldığını düşünüyorum. AdaBoost, bir degrade iniş biçimidir ( en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent ) ve açıkça rastgele gradyan iniş açısından düşünmek Brieman'ın önerdiği eşdeğerlikten daha sezgisel ve daha pratik olabilir. (Doğru olsa bile, uygulamada ihtiyaç duyulan dağıtımdan örnek almak gerçekten zor olabilir.)

— Ryan Bressler

Konuyla ilgili şu yeni makaleyi gördüm: arxiv.org/pdf/1504.07676v1.pdf

— Ryan Bressler

Doğru ise çok ilginç! "Güçlendirmenin rastgele ormanlar gibi kullanılması gerektiği sonucuna varıyoruz: büyük karar ağaçları ile ve doğrudan düzenli veya erken durdurma olmadan."

— Alex