«boosting» etiketlenmiş sorular

Zayıf tahmin modellerini güçlü tahmin modeline birleştiren bir algoritma ailesi. En yaygın yaklaşım gradyan artırma olarak adlandırılır ve en yaygın kullanılan zayıf modeller sınıflandırma / regresyon ağaçlarıdır.


2
Gradyan Artırıcı Ağaç vs Rastgele Orman
Friedman'ın önerdiği şekilde yükselen gradyan ağacı karar ağaçları temel öğrenenler olarak kullanır. Temel karar ağacını olabildiğince karmaşık (tamamen büyümüş) veya daha mı basit hale getirmemiz gerektiğini merak ediyorum. Seçim için bir açıklama var mı? Rastgele Orman, karar ağacı olarak temel öğrenenler olarak kullanılan başka bir topluluk yöntemidir. Anlayışıma dayanarak, genellikle …


5
Rastgele orman bir yükseltme algoritması mıdır?
Kısa tanım artırılması : Bir grup zayıf öğrenci tek bir güçlü öğrenci yaratabilir mi? Zayıf bir öğrenci, gerçek sınıflandırma ile sadece hafifçe ilişkili olan bir sınıflayıcı olarak tanımlanır (örnekleri rastgele tahmin etmekten daha iyi etiketleyebilir). Rastgele Ormanın Kısa Tanımı : Rastgele Ormanlarda birçok sınıflandırma ağacı bulunur. Bir giriş vektöründen yeni …

2
Gradyan Artırma Ağaçları (GBM) ve Adaboost arasındaki farkların sezgisel açıklamaları
GBM ile Adaboost arasındaki farkları anlamaya çalışıyorum. Bunlar şimdiye dek anladım: Hem önceki modelin hatalarından ders alan ve hem de modellerin ağırlıklı toplamını yapan yükseltme algoritmaları vardır. GBM ve Adaboost, kayıp fonksiyonları dışında oldukça benzerdir. Ancak yine de aralarındaki farklar hakkında bir fikir edinmek benim için zor. Birisi bana sezgisel …
48 boosting  gbm  adaboost 

2
Doğrusal Regresyon için Gradyan Artırma - Neden Çalışmıyor?
Gradient Boosting hakkında bilgi edinirken, metodun model oluşturmak ve birleştirmek için kullandığı "zayıf bir sınıflandırıcı" nın özellikleriyle ilgili herhangi bir kısıtlama duymadım. Ancak, doğrusal regresyon kullanan bir GB uygulamasının hayal bile edemedim ve aslında bazı testler yaptığımda, işe yaramadı. En standart yaklaşımı toplam kare artıkları gradyanı ile test ediyordum ve …

2
Bu sanat regresyon metodolojisi mi?
Kaggle yarışmalarını uzun zamandır takip ediyorum ve birçok kazanma stratejisinin "büyük üçler" den en az birini kullanmayı içerdiğini fark ettim: torbalama, güçlendirme ve istifleme. Regresyonlar için, mümkün olan en iyi regresyon modelini oluşturmak yerine, (Genelleştirilmiş) doğrusal regresyon, rasgele orman, KNN, NN ve SVM regresyon modelleri gibi çoklu regresyon modelleri oluşturmak …

1
GBM, XGBoost, LightGBM, CatBoost arasındaki matematiksel farklar?
GBDT model ailesinin aşağıdaki gibi birkaç uygulaması vardır: GBM XGBoost LightGBM Catboost. Bu farklı uygulamalar arasındaki matematiksel farklar nelerdir ? Catboost, bu uygulama işaretine göre sadece varsayılan parametrelerini kullanarak bile diğer uygulamalardan daha iyi performans gösteriyor gibi görünüyor , ancak yine de çok yavaş. Tahminime göre catboost, varsayılan değişkenleri kullanmıyor, …
33 boosting  xgboost 

1
Yükseltme için göreceli değişken önemi
Göreceli değişken öneminin aşırı genel / basit olmayan Gradient Boostted Trees içinde nasıl hesaplandığına dair bir açıklama arıyorum: Ölçümler, bir değişkenin bölünme için seçilme sayısına dayanır, her bölünmenin sonucu olarak karenin iyileştirilmesiyle ağırlıklandırılır ve tüm ağaçların ortalaması alınır . [ Elith ve diğ. 2008, Regresyon ağaçlarının güçlendirilmesi için bir çalışma …

1
GBM parametreleri için bazı yararlı kurallar nelerdir?
GBM'yi kullanarak parametreleri test etmek için bazı yararlı kurallar (örneğin etkileşim derinliği, minchild, numune oranı, vb.) Nelerdir? Diyelim ki, 200.000 nüfuslu 70-100 özelliğe sahibim ve 3 ve 4'lük etkileşim derinliğini test etmeyi düşünüyorum. Açıkça, hangi parametrelerin kombinasyonunun en iyi örnek dışı kaldığını görmek için bazı testler yapmam gerekiyor. Bu test …

5
GBM'de etkileşim derinliği ne demektir?
R'de gbm'deki etkileşim derinliği parametresi ile ilgili bir sorum vardı. Bu, özür dilediğim noob bir soru olabilir, ancak bir ağaçtaki terminal düğümlerinin sayısını belirttiğine inandığım parametre, temel olarak X-yolunu gösterir. öngörücüler arasındaki etkileşim? Sadece bunun nasıl çalıştığını anlamaya çalışıyorum. Ek olarak, bu iki faktör değişkeninin tek bir faktörde birleştirilmesi haricinde, …

1
Taylor Expansion ile XGBoost Kaybı Fonksiyonu Yaklaşımı
Bir örnek olarak, ilgili XGBoost modelin amacı, fonksiyonu, ttt 'inci yineleme: L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) burada ℓℓ\ell kaybı fonksiyonudur, ftftf_t olan ttt 'inci ağaç çıkışı ve ΩΩ\Omega regülarizasyonu olup. Hızlı hesaplama için (birçok) ana adımdan biri yaklaşık değerlerdir: L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), burada gigig_i ve hihih_i işlev kaybı, birinci ve ikinci türevleridir. İstediğim şey, yukarıdaki …

3
Güçlendirmede, öğrenciler neden “zayıf”?
Ayrıca istatistiklere benzer bir soru bakın . Gelen artırılması gibi algoritmalar AdaBoost ve LPBoost o "zayıf" öğrencilerin Wikipedia'dan, yararlı olduğu daha iyi şans daha gerçekleştirmek zorunda sadece kombine edilecek bilinmektedir: Kullandığı sınıflandırıcılar zayıf olabilir (yani, önemli bir hata oranı gösterir), ancak performansları rastgele olmadığı sürece (ikili sınıflandırma için 0,5 hata …


2
Zayıf öğrencilerin “gücü” hakkında
Topluluk öğreniminde zayıf öğrenicilerle ilgili yakından ilgili birkaç sorum var (örneğin artırma). Bu aptalca gelebilir, ancak güçlü öğrencilerin aksine zayıf kullanmanın yararları nelerdir? (örneğin, neden "güçlü" öğrenme yöntemlerini desteklemiyorsunuz?) Zayıf öğrenciler için bir çeşit "optimal" güç var mı (örneğin, diğer tüm topluluk parametrelerini sabit tutarken)? Güçlerine gelince "tatlı bir nokta" …

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.