SVM dışında hangi algoritmaların özellik ölçeklendirmesi gerekir?

17

Birçok algoritma ile çalışıyorum: RandomForest, DecisionTrees, NaiveBayes, SVM (çekirdek = doğrusal ve rbf), KNN, LDA ve XGBoost. SVM dışında hepsi oldukça hızlıydı. O zaman daha hızlı çalışmak için özellik ölçeklendirmesi gerektiğini bilmeliyim. Sonra aynı şeyi diğer algoritmalar için de yapmam gerekip gerekmediğini merak etmeye başladım.

— Aizzaac
kaynak

İlgili: Normalleştirme ve özellik ölçeklendirme nasıl ve neden çalışır?

— Franck Dernoncourt

Ayrıca: Değişkenler genellikle bir model yapmadan önce ayarlanır (örneğin standartlaştırılır) - bu ne zaman iyi bir fikirdir ve ne zaman kötü bir fikirdir?

— Franck Dernoncourt

21

Genel olarak, k-NN ve SVM gibi veri örnekleri arasındaki mesafelerden veya benzerliklerden (örn. Skaler ürün şeklinde) yararlanan algoritmalar özellik dönüşümlerine duyarlıdır.

Fisher LDA veya Naive Bayes gibi grafik model tabanlı sınıflandırıcılar, Karar ağaçları ve Ağaç tabanlı topluluk yöntemleri (RF, XGB) ölçeklendirmeyi değiştirmez, ancak yine de verilerinizi yeniden ölçeklendirmek / standartlaştırmak iyi bir fikir olabilir .

— bağırtı
kaynak

3

+1. Sadece XGBoost'un doğrusal artırmaya dayanan ikinci bir algoritma uyguladığını unutmayın. Ölçekleme burada bir fark yaratacaktır.

— usεr11852 diyor Reinstate Monic

2

RF ve XGB için verileri yeniden ölçeklendirme / standartlaştırma hakkında daha fazla bilgi verebilir misiniz? Modelin kalitesini nasıl etkileyebileceğini anlamıyorum.

— Tomek Tarczynski

17

Http://www.dataschool.io/comparing-supervised-learning-algorithms/ üzerinde bulduğum ve hangi sınıflandırıcının özellik ölçeklendirmesi gerektiğini gösteren bir liste :

Tam tablo:

In k-ortalama ayrıca giriş normalleştirmek için gereken kümeleme .

Sınıflandırıcının Yell Bond'un bahsettiği mesafeleri veya benzerlikleri kullanıp kullanmadığını göz önünde bulundurmanın yanı sıra, Stokastik Degrade İniş de özellik ölçeklendirmesine duyarlıdır (Stokastik Degrade İniş güncelleme denklemindeki öğrenme oranı her parametre {1} için aynı olduğundan):

Referanslar:

{1} Elkan, Charles. "Log-lineer modeller ve koşullu rastgele alanlar." CIKM 8 (2008) ders notları. https://scholar.google.com/scholar?cluster=5802800304608191219&hl=tr&as_sdt=0,22 ; https://pdfs.semanticscholar.org/b971/0868004ec688c4ca87aa1fec7ffb7a2d01d8.pdf

— Franck Dernoncourt
kaynak

Bu cevaptan yoksun neden bir açıklamadır !! Bunun cevabını gör.

— kjetil b halvorsen

2

@kjetilbhalvorsen iyi k-araçları ve SGD için açıkladım, ancak başka birçok algoritma ve model var. Stack Exchange'de 30

— bin

Biraz ilgili: stats.stackexchange.com/questions/231285/…

— kjetil b halvorsen

@FranckDernoncourt Sana bu konuda bir soru sorabilir miyim? SVM oluşturduğum hem kategorik hem de sürekli verilerin bir veri kümesine sahibim. Sürekli veriler çok eğri (uzun kuyruk). Sürekli dönüşüm için log transformation / Box-Coxve sonra da yapmalıyım normalise the resultant data to get limits between 0 and 1? Bu yüzden günlük değerlerini normalleştireceğim. O zaman sürekli ve kategorik (0-1) verilerdeki SVM'yi birlikte hesaplayın? Sağladığınız herhangi bir yardım için alkış.

— Chuck

7

Y_{i} = β_{0} + β_{1} x_{i} + β_{2} z_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \beta_2 z_i + \epsilon_i$

i = 1, \dots, n

$i=1, \dots, n$

x_{i}^{*} = (x_{i} - \bar{x}) / sd (x) z_{i}^{*} = (z_{i} - \bar{z}) / sd (z)

$x_i^* = (x_i - \bar{x})/\text{sd}(x) \\ z_i^* = (z_i - \bar{z})/\text{sd}(z)$

Y_{i} = β_{0}^{*} + β_{1}^{*} x_{i}^{*} + β_{2}^{*} z_{i}^{*} + ϵ_{i}

$Y_i = \beta_0^* + \beta_1^* x_i^* + \beta_2^* z_i^* + \epsilon_i$

β_{1, 2}^{*}

$\beta_{1,2}^*$

{\hat{β}}_{1, 2}

$\hat{\beta}_{1,2}$

β_{0} = β_{0}^{*} - \frac{β_{1}^{*} \bar{x}}{sd(x)} - \frac{β_{2}^{*} \bar{z}}{sd(z)}, β_{1} = \frac{β_{1}^{*}}{sd(x)}, β_{2} = \frac{β_{2}^{*}}{sd(z)}

$\beta_0=\beta_0^* - \frac{\beta_1^* \bar{x}}{\text{sd(x)}} -\frac{\beta_2^*\bar{z}}{\text{sd(z)}},\quad \beta_1 =\frac{\beta_1^*}{\text{sd(x)}},\quad \beta_2=\frac{\beta_2^*}{\text{sd(z)}}$

Ve lineer regresyon davasıyla ilgili bu tartışma, diğer durumlarda nelere dikkat etmeniz gerektiğini söyler: Değişmezlik var mı, değil mi? Genel olarak, öngörücüler arasındaki mesafe ölçümlerine dayanan yöntemler değişmezlik göstermeyecektir , bu nedenle standardizasyon önemlidir. Başka bir örnek kümeleme olacaktır.

— kjetil b halvorsen
kaynak

1

Uyguladığınız bu özel ölçeklendirme örneğinde, birinin betas kümesini diğerinden nasıl hesapladığını açıkça gösterebilir misiniz?

— Mathews24

@kjetil Size bu konuda bir soru sorma talebinde bulunabilir miyim? SVM oluşturduğum hem kategorik hem de sürekli verilerin bir veri kümesine sahibim. Sürekli veriler çok eğri (uzun kuyruk). Sürekli dönüşüm için bir günlük dönüşümü / Box-Cox yapmalı ve sonra da 0 ve 1 arasında sınırlar elde etmek için elde edilen verileri normalleştirmeli miyim? Bu yüzden günlük değerlerini normalleştireceğim. Daha sonra sürekli ve kategorik (0-1) verilerdeki SVM'yi birlikte hesaplayın? Sağlayabileceğiniz herhangi bir yardım için şerefe

— Chuck

1

Lütfen bunu yeni bir soru olarak ekleyebilir misiniz? buraya referans ile!

— kjetil b halvorsen