Diyelim ki çoğunlukla kategorik özelliklere sahip bir ikili sınıflandırma problemimiz var. Öğrenmek için bazı doğrusal olmayan modeller (örneğin, XGBoost veya Rastgele Ormanlar) kullanıyoruz.
Yanıtlar:
Çoklu eşzamanlılık bazı modeller için sorun olmayacaktır. Rastgele orman veya karar ağacı gibi. Örneğin, iki özdeş sütunumuz varsa, karar ağacı / rastgele orman her bölmede otomatik olarak bir sütun bırakacaktır. Ve model hala iyi çalışacak.
Ayrıca, düzenlileştirme Çoklu eşzamanlılık problemini "düzeltmenin" bir yoludur. Cevabım Lojistik regresyon için normalleştirme yöntemleri ayrıntılar veriyor.
Partiye geç, ama yine de benim cevabım ve "Evet" dir, model / yöntemin doğrusal ya da doğrusal olmasından ya da ana görevin tahmin ya da sınıflandırmadan bağımsız olarak her zaman eş-doğruluktan endişelenmesi gerekir.
Yöntem olarak veri kümesinde ve Rastgele Orman'da bulunan bir dizi doğrusal olarak ilişkili ortak değişken / özellik olduğunu varsayalım. Açıkçası, düğüm başına rastgele seçim sadece (veya çoğunlukla) zayıf bir bölünme ile sonuçlanabilecek / sonuçlanacak olan eşdoğrusal özellikleri seçebilir ve bu tekrar tekrar gerçekleşebilir, dolayısıyla performansı olumsuz yönde etkileyebilir.
Şimdi, eşdoğrusal özellikler, diğer (eş-doğrusal olmayan) özelliklerden daha az sonuç verici olabilir ve bu nedenle, yine de özellik kümesinden elenmesi için düşünülmelidir. Bununla birlikte, RF tarafından üretilen 'özellik önemi' listesinde özelliklerin üst sıralarda yer aldığını varsayın. Bu nedenle, boyutsallığı arttırarak gereksiz yere veri kümesinde tutulacaklardır. Yani, pratikte, her zaman, keşifsel bir adım olarak (birçok ilgili olandan) doğrusal korelasyon da dahil olmak üzere özelliklerin ikili ilişkisini kontrol ederdim.
Doğrusal olmayan model ağaç tabanlı bir modelse, bunu ciddi olarak düşünmemelisiniz. Farklı ağaç modelinin farklı anlaşma yöntemi olacaktır, örneğin rastgele orman her ikisini de tutacaktır (çünkü ağacı bağımsız olarak inşa ederler ve her ağaç için rastgele seçim yaparlar), ancak tahmin performansı üzerinde hiçbir etkisi yoktur, hatta gereksiz olan. Ancak xgboost için, herhangi birini seçecek ve son ağaç yapısına kadar kullanacak.
Bu sadece yorum anlamı ile ilgili, bu nedenle yüksek korelasyon değişken kaldırmak önerilir.
Çoklu eşzamanlılık her zaman olası bir sorundur. Modelde yordayıcı olan değişkenler, doğrusal olarak ilişkili olduklarında (yani, eşdoğrusallık olduğunda) tahmini etkileyecektir.