Gradyan Arttırma ile Sınıflandırma: [0,1]

18

Soru

Gradient Boosting ile ikili sınıflandırma yaparken tahminin aralığında nasıl tutulduğunu anlamak için uğraşıyorum . $[0,1]$

İkili bir sınıflandırma problemi üzerinde çalıştığımızı varsayalım ve objektif fonksiyonumuz günlük kaybı, , burada içindeki hedef değişken ve mevcut modelimizdir. $-\sum y_i \log(H_m(x_i)) + (1-y_i) \log(1-H_m(x_i))$ $y$ $\in \{0,1\}$ $H$

Bir sonraki zayıf öğrenen yeni modelimiz , de tutması gereken mekanizma nedir? Ya da, belki daha alakalı bir soru, böyle bir mekanizma var mı? $h_i$ $H_i = H_{i-1} + h_i$ $H_i \in [0,1]$

Ne yaptığım hakkında daha fazla bilgi

Regresyon ağaçlarını kullanarak gradyan artırmayı uygulamaya çalışıyorum. Bundan kaçınmak için yaptığım şey , sıfırın üstüne bir çarpan ile çarpılmasıdır. Biri ve ben bu aralığı kaybı işlevini en aza indiren seçin . $h_i$ $c \in [0,c_{\text{max}}]$ $H + c_{\text{max}}h$ $c$

Bu aşağıdaki sorunu getiriyor: Bazı mermilerden sonra, mükemmel bir şekilde sınıflandırılmış bir noktaya sahibim ve sınıflandırıcıyı degrade yönünde itmek için mevcut en iyi bölünme, bu noktayı bir üste itmek istiyor, ki bu gerçekleşmediğinden emin olmak istiyorum ayar . Böylece sonraki tüm yineleme aynı bölmeyi ve aynı seçecektir . $c = 0$ $c = 0$

Ortak düzenlileştirme uygulamalarını denedim

ile çarpılarak öğrenme oranının düşürülmesi . Bu sadece sorunu geciktirir. $c$ $\mu = 0.01$
Özellik alanını alt örnekleme, ancak bazı noktaların sınıflandırılması çok kolay, "Bu olumlu mu?" ve hemen hemen her "iyi bölünme" bu davranışı gösterir.

Bu bir parametre sorunu olmadığını düşünüyorum ve bunu düzeltmek için daha sağlam bir yol olmalı. Uygulamamın bozulduğu olasılığını atmıyorum, ancak bu sorunu aşan bir şey bulamadım.

Lojistik kayıp bağlamında manipüle ettiğimiz şey bir olasılık olmalı, peki bundan nasıl kaçınırız?

Sezgim, inşa ettiğimiz modeli, , ile sınırlı olacak şekilde sigmoid bir fonksiyona koymak olacak ve sanırım bu işe yarayacaktı, ama başka çözümler olup olmadığını bilmek istiyorum. Gradyan yükseltme sınıflandırma görevlerinde başarılı bir şekilde kullanıldığından, "doğru" (yani gerekçelendirme ile) bir çözüm mevcut olmalıdır. $H$ $[0,1]$

logistic classification boosting

— Winks
kaynak

çok yönlü olmasını isteyebilirsiniz , çünkü diğer uzmanlarınızla birlikte davranır.

H

$H$

\ln (H)

$\ln(H)$

— Alex

23

Bunu doğrusal modeller ve bunların GLM'lere (genelleştirilmiş doğrusal modeller) genişletilmesi ile benzer şekilde düşünmeyi seviyorum.

Doğrusal bir modelde, yanıtımızı tahmin etmek için doğrusal bir işleve uyarız

\hat{y} = β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}

$\hat y = \beta_0 + \beta_1 x_1 + \cdots \beta_n x_n$

Diğer durumlara genelleştirmek için, modelin doğrusal kısmını yanıt ölçeğine dönüştüren bir bağlantı işlevi sunuyoruz (teknik olarak bu ters bir bağlantıdır, ancak bence bu şekilde düşünmek daha kolay, doğrusal öngörücüyü dönüştürmek yanıtı doğrusal bir yordayıcıya dönüştürmektense).

Örneğin, lojistik model sigmoid (veya logit) işlevini kullanır

\hat{y} = \frac{1}{1 + \exp (- (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}))}

$\hat y = \frac{1}{1 + \exp(-(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n))}$

ve poisson regresyonu üstel bir fonksiyon kullanır

\hat{y} = \exp (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n})

$\hat y = \exp(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n)$

Gradyan artırmalı bir benzetme oluşturmak için, bu modellerin doğrusal kısmını güçlendirilmiş ağaçların toplamı ile değiştiriyoruz. Böylece, örneğin, gauss davası (doğrusal regresyona benzer) iyi bilinir hale gelir

\hat{y} = \sum_{i} h_{i}

$\hat y = \sum_i h_i$

burada zayıf öğreniciler . Binom vakası lojistik regresyona benzer (cevabınızda belirttiğiniz gibi) $h_i$

\hat{y} = \frac{1}{1 + \exp (- \sum_{i} h_{i})}

$\hat y = \frac{1}{1 + \exp\left(-\sum_i h_i\right)}$

ve poisson artışı poisson regresyonuna benzer

\hat{y} = \exp (\sum_{i} h_{i})

$\hat y = \exp\left(\sum_i h_i\right)$

Soru, bağlantı fonksiyonu söz konusu olduğunda bu güçlendirilmiş modellere nasıl uyuyor? Bağlantının kimlik işlevi olduğu gauss davası için, zayıf öğrenenlerin mevcut çalışma modelinin kalıntılarına uydurma sıkça duyulan mantra çalışır, ancak bu daha karmaşık modeller için genelleştirilmez. İşin püf noktası, minimize edilmekte olan kayıp fonksiyonunu modelin doğrusal kısmının (yani GLM formülasyonunun kısmı) bir fonksiyonu olarak . $\sum_i \beta_i x_i$

Örneğin, binom kaybı genellikle

\sum_{i} y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})

$\sum_i y_i \log(p_i) + (1 - y_i)\log(1 - p_i)$

Burada, kayıp bir fonksiyonu olan aynı yanıt olarak ölçek ve ilgili tahmin değerleri doğrusal tahmin bir doğrusal olmayan dönüşümüdür . Bunun yerine, bunu bir fonksiyonu olarak tekrar ifade edebiliriz (bu durumda günlük oranları olarak da bilinir) $p_i$ $p_i$ $L_i$ $L_i$

\sum_{i} y_{i} L_{i} - \log (1 + \exp (L_{i}))

$\sum_i y_i L_i - \log(1 + \exp(L_i))$

Daha sonra göre bunun gradyanını alabilir ve bu miktarı doğrudan en aza indirmek için artırabiliriz. $L$

Sadece en sonunda, kullanıcı için tahminler üretmek istediğimizde, tahminleri cevapla aynı ölçekte koymak için bağlantı işlevini zayıf öğrenicilerin son sırasına uygularız. Modeli takarken, tüm zaman boyunca dahili olarak doğrusal ölçekte çalışıyoruz.

— Matthew Drury
kaynak

2

"Modelin doğrusal kısmının bir fonksiyonu olarak en aza indirilen kayıp fonksiyonunu yaz" ile anlaşın. Ama günlük olasılıkları türetmeden anlamak için basit bir yol olduğunu düşünüyorum: modelin doğrusal kısmı için, yani , kayıp fonksiyonunu ve yalancı artık sadece kayıp wrt türevini yapmaktır .

r \in (- \infty, \infty)

$r \in (-\infty, \infty)$

- \sum_{i} (y_{i} \log \frac{1}{1 + e^{- r}} + (1 - y_{i}) \log (1 - \frac{1}{1 + e^{- r}}))

$- \sum_i \big( y_i \log \frac{1}{1+e^{-r}}+(1-y_i)\log ( 1 - \frac{1}{1+e^{-r}}) \big)$

r

$r$

— user2830451

@ matthew-drury Lütfen aynı algoritmanın çalışmak için genişletildiği aynı algoritmanın K sınıfı çok terimli bölümüne biraz ışık ekleyebilir misiniz?

— MixCoded

6

Bazı araştırmalardan sonra, sezgilerimin ve Alex R. yorumunun doğru olduğu anlaşılıyor .

tahminleri olan sürekli bir model oluşturmak için , modelini bir lojistik fonksiyona (Wikipedia) koyabilir , öyle ki için Gradyan artırıcı adımlar daha sonra göre türevi alır ve lojistik fonksiyonu maliyet fonksiyonunun bir parçasıymış gibi modelini günceller ve çalışır. $[0,1]$ $H$ $H \in \mathbb{R}$

\frac{1}{1 + e^{- H}} \in [0, 1]

$\frac{1}{1 + e^{-H}} \in [0,1]$

H

$H$

Bu yazıda ileri sürülmüştür Katkı lojistik regresyon: artırmanın bir istatistik görünümünü inşa etmek Friedman, HASTIE ve Tibshirani tarafından, LogitBoost (Wikipedia) , bir uyarlamasını AdaBoost (Wikipedia) Lojistik kaybı için.

Çok temel bir ifadeyle, bir sigmoid ilavesiyle doğrusal regresyondan lojistik regresyona geçmek mümkün ise, regresyon arttırmayı sınıflandırma arttırmaya dönüştürmek için de çalışır.

— Winks
kaynak