Kement / Sırt Regresyonunda Standardizasyon ve Normalizasyon

Sırt ve kement regresyonu için özellikleri standartlaştırmanın yaygın bir uygulama olduğunun farkındayım, ancak bu regresyon yöntemleri için z skor standardizasyonuna alternatif olarak (0,1) ölçeğindeki özellikleri normalleştirmek daha pratik olur muydu?

— Steve
kaynak

Yanıtlar:

Normalizasyon uygularsanız ([0,1] 'de sıkıştırın) göreceli değişken önemi ölçüsüne sahip olacaksınız ancak değişkenlerinizin ölçeğini değiştirecek ve tüm model yorumlanabilirliğini kaybedeceksiniz. Standardizasyonun avantajı, modeli hala düzenli olmayan OLS regresyonunda yaptığınız gibi yorumlayabilmenizdir (bu zaten burada cevaplanmıştır ).

— Digio
kaynak

Düzenli model normalleştirme ile veya normalleştirme olmadan çok farklı davranıyor !! Özellikle, özellikleri normalleştirmezsek, farklı özellikler için farklı cezalarımız olacaktır!

— Haitao Du

Özellikle tahminlerden değil, Kement katsayısı yorumundan bahsediyordum . Tahminlerin değişeceği göz önüne alındığında, yorumlamanın değişimini nasıl modelleyeceğini merak ediyorum.

— Digio

Cevabınızda bağladığınız sorunun, yaptığınız noktayı desteklediği görülmüyor. Orijinal yayınınızda ols katsayılarının yorumlanmasının neden özellikler standartlaştırıldığında kement katsayılarıyla aynı fikirde olduğunu daha açık hale getirebilir misiniz? Teşekkür ederim!

— user795305

@Ben, cevabımı yanlış anladın (belki benim hatam). Bağlantı verdiğim cevap , kement ve basit regresyondaki (OLS veya başka türlü) model katsayılarının aynı şekilde nasıl yorumlandığını açıklamaktadır - her koşulda (standartlaştırılmış olsun veya olmasın). Normalleştirme ile (herhangi bir tipte veya parametrik regresyonda), orijinal ölçeği kaybedersiniz ve geri dönüşümü olmayan katsayıları yorumlayamazsınız. Standardizasyon ile modeli normal şekilde yorumlarsınız.

— Digio

@Digio: Normalizasyon neden katsayıları diğer ölçek değişikliklerinden daha az yorumlanabilir hale getirsin? Normalizasyon ve standardizasyon aynı dönüşümler değil, kullandıkları pay için mi? Her ikisi de katsayıları dV / dx olarak yorumlamak için aynı şekilde geri dönüştürmeyi gerektirir, ölçeklenmemiş özelliklerin birimlerinde x bulunur. Evet, standart özelliklerin katsayıları doğrudan dV / dz olarak yorumlanabilir, z her özelliğin z-skorudur ve bu yorum normalleştirme ile mümkün değildir. Ancak bu, normalleştirilmiş özellik katsayılarının tüm yorumları kaybettiği anlamına mı geliyor?

— OldSchool

Normalleştirme, düzenlileştirme yöntemleri için çok önemlidir. Bunun nedeni, değişkenlerin ölçeğinin, belirli bir değişken için ne kadar düzenlileştirmenin uygulanacağını etkilemesidir.

Örneğin, bir değişkenin çok büyük ölçekte olduğunu varsayalım, diyelim ki milyonlarca düzen ve başka bir değişken 0'dan 1'e.

Normalleştirme yaptığımız gibi, 0'a 1'e normalleştirin veya özellikleri standartlaştırmak çok önemli değil.

— Haitao Du
kaynak

Bu cevap açıktır. Burada "normalleştirme" ile kastedilen, [0,1] 'deki tüm değerlerin sıkılması anlamına gelir, sadece standardizasyon için başka bir sözcük değildir. Soru [0,1] 'deki standardizasyon ~ N (0,1)' e karşı normalleşmenin model katsayıları üzerindeki etkileri ile ilgilidir.

— Digio

[0,1] 'e normalleştirmek ne anlama gelir? Bunu başarmanın birçok yolu var. Cezalandırılmış regresyon için öneriniz tam olarak nedir?

— Çağdaş Özgenç

Sorunun "(0,1) ölçeğindeki özellikleri normalleştireceği" belirttiği gibi, özellik yeniden ölçeklendirmesi daha iyi bir terim olsa da , göreli değişken önemini ifade eden katsayı tahminleri üretmek için genel bir tekniktir (RF'nin saflık ölçüsüne benzer). Evet, bunu başarmanın birçok yolu vardır ve cezalandırılmış regresyona özgü bir şey değildir, ancak bu soru özellik yeniden ölçeklendirmenin (standardizasyon değil) Kement üzerindeki etkisi ile ilgilidir.

— Digio

"0'dan 1'e normalleştirmek veya çok fazla önemli olmayan özellikleri standartlaştırmak" ile ne demek istiyorsun? Hangi anlamda çok önemli değil? Bu talep için herhangi bir sezgi veya referans verebilir misiniz?

— user795305