Güçlendirilmiş regresyon ağaçlarının (BRT), genelleştirilmiş hızlandırılmış modellerin (GBM) ve gradyan güçlendirme makinesinin (GBM) mutabakatı

Sorular:

1. Arttırılmış regresyon ağaçları (BRT) ve genelleştirilmiş arttırılmış modeller (GBM) arasındaki farklar nelerdir? Bunlar birbirinin yerine kullanılabilir mi? Biri diğerinin belirli bir şekli mi?
2. Ridgeway neden Friedman'ın daha önce "Gradient Boosting Machine" (GBM) olarak önerdiğini tanımlamak için "Genelleştirilmiş Artırılmış Regresyon Modelleri" (GBM) ifadesini kullandı? Bu iki kısaltma aynıdır, aynı şeyi açıklar, ancak farklı ifadelerden türetilir.

Arka fon:

BRT ve GBM terimlerinin nasıl farklı olduğunu belirlerken sorun yaşıyorum. Her ikisini de anladığım kadarıyla, bir çeşit takviye (örneğin, torbalama, önyükleme, çapraz validasyon) aracılığıyla stokastikliğe sahip sınıflandırma ve regresyon ağaçlarını tanımlamak için terimlerdir. Ayrıca, GBM terimini topladığımdan ilk olarak Friedman (2001) tarafından "Açgözlü fonksiyon yaklaşımı: gradyan arttırıcı bir makine" makalesinde yazılmıştır. Ridgeway daha sonra 2006 yılında Friedman tarafından "Genelleştirilmiş Arttırılmış Regresyon Modelleri" (GBM) paketinde açıklanan prosedürü uyguladı. Benim alanımda (ekoloji) Elith ve ark. (2008), Ridgeway'in gbmtür dağıtım modellemesi paketini ilk kez sergiledi . Ancak, Elith ve ark. Friedman ve Ridgeway'i tanımlamak için "güçlendirilmiş regresyon ağacı" (BRT) terimini kullanın.

Bu terimlerin birbirinin yerine kullanılabileceği konusunda kafam karıştı mı? Bir yazarın, önceki bir yazarın önerdiği teoriyi tanımlamak için aynı kısaltmayı (farklı bir ifadeden) kullanması biraz kafa karıştırıcıdır. Ayrıca, üçüncü yazarın bu teoriyi ekolojik olarak tarif ederken tamamen farklı bir terim kullanması da kafa karıştırıcıdır.

Gelebileceğim en iyi şey, BRT'nin dağıtımın binom olduğu belirli bir GBM biçimi olmasıdır, ancak bundan emin değilim.

Elith ve diğ. bu şekilde artırılmış regresyon ağaçlarını tanımlayın… "Artırılmış regresyon ağaçları, iki algoritmanın güçlü yönlerini birleştirir: regresyon ağaçları (yinelemeli ikili bölünmelerle kendi tahmin edicilerine bir tepki veren modeller) ve artırma (gelişmiş tahmin performansını artırmak için birçok basit modeli birleştirmek için uyarlanabilir bir yöntem) Nihai BRT modeli, bireysel terimlerin basit ağaçlar olduğu, ileriye dönük, stagewise tarzda eklenmiş bir regresyon modeli olarak anlaşılabilir "(Elith ve ark. 2008).

@Aginensky'nin yorum dizisinde belirttiği gibi, yazarın kafasına girmek imkansızdır, ancak BRT büyük olasılıkla gbm, bariz, artırılmış sınıflandırma ve regresyon ağaçlarını belirtmek için beni affeden modelleme sürecinin daha açık bir açıklamasıdır . Ve güçlendirmeyi, degradeleri ve regresyon ağaçlarını sorduğunuzdan, işte terimlerin basit İngilizce açıklamalarım. FYI, CV, bir çoğaltma yöntemi değil, tekrarlanan örnekleme yoluyla optimum model parametrelerini tanımlamaya yardımcı olan bir yöntemdir. Sürecin bazı mükemmel açıklamaları için buraya bakın .

Yükseltme bir tür topluluk yöntemidir . Topluluk yöntemleri , birkaç ayrı modelden tahminleri toplayarak nihai tahminlerin yapıldığı bir yöntem koleksiyonunu ifade eder. Destekleme, torbalama ve istifleme, yaygın olarak uygulanan bazı topluluk yöntemleridir. İstifleme , birkaç farklı modelin ayrı ayrı (kendi seçtiğiniz herhangi bir yapının) takılmasını ve daha sonra bunların tek bir doğrusal modelde birleştirilmesini içerir. Bu, bağımsız modellerin tahminlerini bağımlı değişkene karşı koyarak yapılır. LOOCV SSE normalde regresyon katsayılarını belirlemek için kullanılır ve her model bir temel fonksiyon olarak ele alınır (bence bu GAM'a çok, çok benzer). Benzer şekilde, torbalamaönyüklemeli örneklere benzer şekilde yapılandırılmış birkaç modelin yerleştirilmesini içerir. Bir kez daha bariz olanı belirtme riski altında, istifleme ve torbalama paralel topluluk yöntemleridir.

Bununla birlikte, yükseltme sıralı bir yöntemdir. Friedman ve Ridgeway her ikisi de makalelerindeki algoritmik süreci anlatıyorlar, bu yüzden buraya sadece bu saniye eklemeyeceğim, ancak sade İngilizce (ve biraz basitleştirilmiş) sürüm, her bir modeli en aza indirgemek isteyen birbiri ardına bir model takmanızdır. önceki modelin hatalarıyla ağırlıklandırılmış kalıntılar (büzülme parametresi, her bir tahminin önceki yinelemeden kalan artık hatasına ayrılan ağırlıktır ve buna sahip olmak için ne kadar küçükse o kadar iyidir). Soyut bir anlamda, güçlendirmeyi geçmiş deneyimleri gerçekleştirmemiz gereken yeni görev yinelemelerine uyguladığımız insan benzeri bir öğrenme süreci olarak düşünebilirsiniz.

Şimdi, her şeyin gradyan kısmı, gbmaşırı sığmayı önlemek için tahmin için kullanılacak en uygun model sayısını ( dokümantasyonda yineleme olarak adlandırılır) belirlemek için kullanılan yöntemden gelir .

Yukarıdaki görselden de görebileceğiniz gibi (bu bir sınıflandırma uygulamasıydı, ancak aynı regresyon için de geçerlidir) İlk önce CV hatası oldukça dik düşer, çünkü algoritma düzleşmeden önce CV hatasına en büyük düşüşe neden olacak modelleri seçer. ve topluluk revize etmeye başladığında tekrar tırmanıyor. Optimal yineleme sayısı, mavi kesikli çizgi ile uygun bir şekilde gösterilen CV hata fonksiyonunun bükülme noktasına (fonksiyon gradyanı 0'a eşittir) karşılık gelir.

Ridgeway'in gbmuygulaması sınıflandırma ve regresyon ağaçlarını kullanıyor ve fikrini okuduğumu iddia edemesem de, ağaçların sığabileceği hızın ve kolaylığın (veri parlaklığı için sağlamlıklarından hiçbir şey söylememenin) üzerinde oldukça önemli bir etkisi olduğunu hayal ediyorum. modelleme tekniği seçimi. Bununla birlikte, yanlış olsa da, neredeyse başka herhangi bir modelleme tekniğinin uygulanamamasının kesin teorik bir nedenini hayal edemiyorum. Yine, Ridgeway aklını bildiğini iddia edemez, ama ben hayal genelleştirilmiş bir kısmınıgbmadı potansiyel uygulamaların çokluğunu ifade eder. Paket regresyon (lineer, Poisson ve kantil), binom (bir dizi farklı kayıp fonksiyonu kullanarak) ve multinom sınıflandırma ve sağkalım analizi (ya da coxph dağılımı herhangi bir gösterge ise en azından tehlike fonksiyonu hesaplaması) yapmak için kullanılabilir.

Elith'in makalesi belirsiz bir şekilde tanıdık geliyor (sanırım geçen yaz gbm dostu görselleştirme yöntemlerine bakarken karşılaştım) ve eğer bellek doğru hizmet veriyorsa, gbmregresyon için otomatik model ayarlamaya odaklanarak (gauss dağılımında olduğu gibi) kütüphanenin bir uzantısı vardı (binom değil) uygulamaları ve gelişmiş arsa üretimi. RBT terminolojisinin modelleme tekniğinin doğasını netleştirmeye yardımcı olduğunu, GBM'nin daha genel olduğunu düşünüyorum.

Umarım bu birkaç şeyi temizlemeye yardımcı olur.