Regresyon analizi için ölçeklendirme özelliklerine ek olarak hedef değeri ölçeklendirmek gerekli midir?

52

Regresyon modelleri yapıyorum. Ön işleme adımı olarak, özellik değerlerimi ortalama 0 ve standart sapma 1 olacak şekilde ölçeklendiriyorum. Hedef değerleri normalleştirmek de gerekli mi?

regression machine-learning

— user2806363
kaynak

50

İlk önce neden özellik ölçeklendirme yapıldığını analiz edelim. Özellik ölçeklendirme, ölçek değişmezliği özelliğine sahip olmayan en dik iniş algoritmalarının yakınsamasını iyileştirir.

Stokastik gradyan iniş olarak eğitim örnekleri ağırlık şöyle yinelemeli güncelleştirir bilgi,

w_{t + 1} = w_{t} - γ \nabla_{w} ℓ (f_{w} (x), y)

$w_{t+1} = w_t - \gamma\nabla_w \ell(f_w(x),y)$

Burada ağırlıklarıdır, bir stepSize olan , gradyan wrt ağırlıkları olan , bir kayıp fonksiyonu parametreli fonksiyonu , , bir eğitim örnektir ve yanıtı / etikettir. $w$ $\gamma$ $\nabla_w$ $\ell$ $f_w$ $w$ $x$ $y$

Düzgün ölçeklemeyi ve uygun olmayan ölçeklemeyi temsil eden aşağıdaki dışbükey fonksiyonlarını karşılaştırın.

Özellik ölçeklendirme

$\gamma$ $\nabla_w \ell(f_w(x),y)$ $\gamma$

Gradyan güncellemesi

$f$

Çıktıları ölçeklendirmenin hayal edebileceği tek durumun bir etkisi var, cevap değişkeniniz çok büyükse ve / veya f32 değişkenleri kullanıyorsanız (GPU doğrusal cebir ile ortaktır). Bu durumda, ağırlık elemanının bir kayan nokta taşması mümkündür. Belirti ya bir Inf değeridir ya da diğer aşırı gösterime sarılır.

— Jessica Mick
kaynak

Fakat eğer girişleri ölçeklendirmez ve Gradient Descent uygularsak, y = t = 0 = theta1 * x1 + t2 = x2 gibi bir şeyde çözmek için, eğer Y'yi tutarken X1 ve X2 değerlerini güncelliyorsak (ölçekleyerek) (beklenen çıktı) aynısı, teta1, teta2 için sonuç tahminleri, orijinal denklemde uyguladığımız zaman yanlış olmaz mı?

— Prashant

14

Genellikle gerekli değildir. Ölçekleme girişleri durumdan kaçınmaya yardımcı olur, bir veya birkaç özellik diğerlerine büyük ölçüde hükmediyorsa, sonuç olarak bu model, güçlü olsalar bile, daha küçük ölçek değişkenlerinin katkısını zorlukla alır. Ancak hedefi ölçeklendirirseniz, ortalama kare hatanız otomatik olarak ölçeklendirilir. MSE> 1 otomatik olarak, sabit (naif) bir tahminden daha kötü bir şey yaptığınız anlamına gelir.

— inzl
kaynak

7

Hayır, cevabın doğrusal dönüşümleri asla gerekli değildir. Bununla birlikte, modelinizin yorumlanmasına yardımcı olmak için yardımcı olabilirler. Örneğin, cevabınız metre cinsinden verilirse, ancak tipik olarak çok küçükse, milimetreye geri dönmek yararlı olabilir. Ayrıca, girişlerin merkezlenmesi ve / veya ölçeklendirilmesinin de aynı nedenle faydalı olabileceğine dikkat edin. Örneğin, diğer tüm tahminciler 0 olarak ayarlandığında , tahmin edicideki birim başına yanıt üzerindeki değişiklik üzerindeki etki olarak bir katsayıyı kabaca yorumlayabilirsiniz . Ancak 0, bu değişkenler için genellikle geçerli veya ilginç bir değer olmayacaktır. Girdilerin ortalanması, diğer tahminciler ortalama değerlerini aldıklarında, katsayıyı birim başına etki değiştiği şeklinde yorumlamanızı sağlar.

Yanıt orijinal ölçekte tahminlerde doğrusal değilse diğer dönüşümler (log veya karekök) yardımcı olabilir. Bu durumda, sizin için uygun olup olmadıklarını görmek için genelleştirilmiş doğrusal modeller hakkında okuyabilirsiniz.

— AlexK
kaynak

1

Bu vermez bir de gradyan arttırma etkileyen kötü bir şekilde. gradyan iniş için formülü kontrol edin:

x_{n + 1} = x_{n} - γ Δ F (x_{n})

$x_{n+1} = x_{n} - \gamma\Delta F(x_n)$

$x_2$ $x_1$

$F(\vec{x})=\vec{x}^2$ $\Delta F(\vec{x})=2*\vec{x}$

$\vec{z}= (x_1,1000*x_1)$ $\gamma$

\vec{z_{n + 1}} = \vec{z_{n}} - γ Δ F (z_{1}, z_{2}) .

$\vec{z_{n+1}} = \vec{z_{n}} - \gamma\Delta F(z_1,z_2) .$

Δ

$\Delta$

Sonuç olarak, deltayı yalnızca bu yöne gösterecek şekilde bastırır ve birleşimi yavaşlatır.

— drSPacy_
kaynak

0

Evet , hedef değişkeni ölçeklendirmeniz gerekir. Bu referansı alıntılayacağım :

Büyük bir değer dağılımına sahip olan bir hedef değişken, sırayla, ağırlık değerlerinin çarpıcı bir şekilde değişmesine neden olarak büyük hata gradyan değerleriyle sonuçlanarak öğrenme sürecini dengesiz hale getirebilir.

Referansta, çok büyük hatalar verildiğinde, eğitim sırasında model ağırlıklarının patladığı ve ardından ağırlık güncellemeleri için hesaplanan hata gradyanlarının da patladığı bir kod gösterimi var . Kısacası, verileri ölçeklendirmiyorsanız ve çok büyük değerleriniz varsa, çok küçük öğrenme oranı değerlerini kullandığınızdan emin olun. Bu, @drSpacy tarafından da belirtildi.

— Fernando Wittmann
kaynak