Artırma yöntemi neden aykırı değerlere duyarlıdır?

12

Artırma yöntemlerinin aykırı değerlere duyarlı olduğunu söyleyen birçok makale buldum, ancak nedenini açıklayan bir makale yok.

Deneyimlerime göre aykırı değerler herhangi bir makine öğrenimi algoritması için kötüdür, ancak artırma yöntemleri neden özellikle hassastır?

Aşağıdaki algoritmalar aykırı değerlere duyarlılık açısından nasıl sıralanır: boost ağacı, rastgele orman, sinir ağı, SVM ve lojistik regresyon gibi basit regresyon yöntemleri?

— lserlohn
kaynak

1

Açıklığa kavuşturmak için düzenledim (bir satırın başına boşluklar koyarsanız, stackexchange bunu kod olarak kabul eder). İkinci paranıza göre, arttırmak nedir? Hassasiyeti tanımlamanız gerekebilir.

— Jeremy Miles

1

Ayrıca, aykırı değerler ve gürültü de aynı şey değildir.

— Jeremy Miles

Bu soruyu henüz çözülmüş olarak işaretlemem. Artırmanın aslında diğer yöntemlerden daha fazla aykırı olup olmadığı açık değildir. Kabul edilen cevabın çoğunlukla onay yanlılığı nedeniyle kabul edildiği görülüyor.

— rinspy

Bu makalelerin bazılarını paylaşabilir misiniz lütfen?

— acnalb

11

Aykırı değerlerin artırılması kötü olabilir, çünkü güçlendirme her ağacı önceki ağaç kalıntılarına / hatalarına yerleştirir. Aykırı değerlerin aykırı değerlerden çok daha büyük kalıntıları olacaktır, bu nedenle gradyan artırımı dikkatinin orantısız bir miktarını bu noktalara odaklayacaktır.

— Ryan Zotti
kaynak

2

OP'ye daha fazla matematiksel ayrıntı verebilirseniz daha iyi olacak!

— Metariat

5

@ Matemattika Matematiksel ayrıntılar eklemenin burada ek netlik sağlayacağına katılmıyorum. Sadece ağaç gradyanları için bir sembol ve sonraki ağaçlar için bir öğrenme oranı olacaktır.

— Ryan Zotti

1

@RyanZotti: Metariat'a katılıyorum. Daha resmi gösterim bazı karışıklıkları çözer. Örneğin, "Aykırı değerlerin aykırı değerlerden çok daha büyük kalıntıları olacaktır" cümlesinde, artıklar neye karşılık gelir? Tahmini model mi, gerçek model mi? Birincisi, genel olarak doğru değilse ve ikincisi ise, ilgisizdir.

— user603

1

Belirttiğiniz algoritmalar sınıflandırma içindir, bu yüzden hedef değişkente aykırı değerleri değil, giriş değişkeni aykırı değerlerini kastediyorsunuz. Yükseltilmiş Ağaç yöntemleri, temel öğrenciler ağaç bölmeleri olduğundan giriş özelliklerindeki aykırı değerlere karşı oldukça sağlam olmalıdır. Örneğin, bölünme x > 35 ve 5.000.000 ise aynı şekilde muamele edilir. Bu iyi bir şey olabilir veya olmayabilir, ama bu farklı bir soru.

Bunun yerine hedef değişkenteki gerileme ve aykırı değerlerden bahsediyorsan , güçlendirilmiş ağaç yöntemlerinin hassasiyeti kullanılan maliyet fonksiyonuna bağlı olacaktır. Tabii ki, kare hatası aykırı değerlere duyarlıdır, çünkü fark kare şeklindedir ve bu, bir sonraki ağacı büyük ölçüde etkileyecektir, çünkü kaybı (gradyanı) azaltma girişimlerini arttırır. Bununla birlikte, Huber kaybı ve Mutlak Kayıp gibi güçlendirilmiş ağaç yöntemleri için kullanılabilecek daha sağlam hata fonksiyonları vardır .

— ZakJ
kaynak

0

Artırmada, verilerin alt kümesini rastgele seçmek yerine algoritma sonuçlarının kötü olduğu veri kümesini seçmeye çalışırız. Bu zor örneklerin öğrenilmesi önemlidir, bu nedenle veri kümesinde çok fazla aykırı değer varsa ve algoritma bu örneklerde iyi performans göstermiyorsa, bu zor örneklerin algoritmasını öğrenmek, bu örneklerle alt kümeleri seçmeye çalışacaktır.

— waleed sial
kaynak