Öngörücülerin işleyişini (temel öğrenenler, örneğin kütükler aracılığıyla) ve artırımdaki kayıp işlevinin işlenmesini karıştırmayın. AdaBoost, yanlış sınıflandırma hatasını en aza indirgemek için temel öğrencilerin kombinasyonlarını bulmak olarak düşünülse de, belirttiğiniz "Ek Lojistik Lojistik Regresyon" makalesi, üstel bir kayıp fonksiyonunu en aza indirgemek için de formüle edilebileceğini gösterir. Bu içgörü, gradyan artırma yoluyla farklılaştırılabilir kayıp fonksiyonlarını en aza indiren geniş bir makine öğrenimi problemleri sınıfına destek yaklaşımını açtı . Her bir basamağa uyan artıklar , kayıp fonksiyonunun gradyanından hesaplanan yalancı kalıntılardır . Tahminler ikili kütükler olarak modellenmiş olsa bile, modelin çıktısının ikili bir seçim olması gerekmez.
Başka bir cevap belirttiği gibi, doğrusal temel öğrenenler destek için işe yaramayabilir, ancak doğrusal temel öğrenenlere standart ya da lojistik anlamda "güçlendirilmiş regresyon" için gerek yoktur. Kararlı olarak doğrusal olmayan kütükler, uygun kayıp fonksiyonlarını en aza indirmek için yavaş tabanlı öğreniciler olarak birleştirilebilir. Tahmincilerin katsayılarında doğrusal olan standart bir regresyon modelinden çok uzak olmasına rağmen hala "güçlendirilmiş regresyon" olarak adlandırılmaktadır. Kayıp fonksiyonu, doğrusal modeller ve yordayıcılar olarak kütükleri veya ağaçları olan "güçlendirilmiş regresyon" modelleri için işlevsel olarak aynı olabilir. ISLR'ın 8. Bölümü bunu oldukça açık bir şekilde ortaya koymaktadır.
Dolayısıyla, artan regresyona eşdeğer bir lojistik regresyon istiyorsanız, temel öğrencilerden ziyade kayıp fonksiyonuna odaklanın. Alıntı yaptığınız makaledeki LogitBoost yaklaşımı budur: Adaboost'ta örtülü olan üstel kayıptan ziyade bir günlük kaybını en aza indirin. Wikipedia AdaBoost sayfasında bu fark açıklanmaktadır.
Bu sitedeki birçok katılımcı, log-odds / olasılık tabanlı bir tahminin katı bir evet / hayır sınıflandırma tahminine çok tercih edildiğini, çünkü daha önce yanlış pozitif ve yanlış negatif tahminlerin ekstra maliyetleri arasında farklı dengelemelere izin verdiğini iddia edecektir. . Gibi Alakalı sorunun cevabı gösterir, AdaBoost türetilen kuvvetli sınıflandırıcı tahmin olasılıkları elde etmek mümkündür, ancak LogitBoost iyi daha iyi performans verebilir.
Sınıflandırma için gradyan artırma uygulamaları, temel olasılıklar hakkında bilgi sağlayabilir. Örneğin, gradyan yükseltme ile ilgili bu sayfa, sklearnkodun lojistik regresyon için sapma kaybı ile AdaBoost için üstel kayıp arasında nasıl bir seçim yapılmasına izin verdiğini ve gradyanla güçlendirilmiş modelden olasılıkları tahmin etmek için doküman işlevlerini gösterir.