Regresyonda verileri merkezleme ve standartlaştırma ihtiyacı

Bazı regülasyonlarla doğrusal regresyon düşünün: Örn , küçülten Bul | | A x - b | | 2 + λ | | x | | $x$$||Ax - b||^2+\lambda||x||_1$

Genellikle A sütunları sıfır ortalama ve birim normlara sahip olacak şekilde standartlaştırılırken, sıfır ortalamaya sahip olacak şekilde ortalanır. Standartlaşma ve merkezleme nedenine ilişkin anlayışımın doğru olup olmadığından emin olmak istiyorum.$b$

ve b sütunlarının ortalamalarını sıfır yaparak, artık bir kesme terimine ihtiyacımız yok. Aksi takdirde, amaç | | A x - x 0 1 - b | | 2 + λ | | x | | 1 . A'nın sütunlarının normlarını 1'e eşitleyerek, A'nın bir sütununun çok yüksek bir norma sahip olması nedeniyle, x'de düşük bir katsayı elde ettiği ve bu sütunun A x 'i "açıklamıyor" .$A$$b$$||Ax-x_01-b||^2+\lambda||x||_1$$x$$x$

Bu akıl yürütme tam olarak titiz değil, sezgisel bir şekilde, doğru düşünmenin yolu mu?

ve b sütunlarının ortalamalarını sıfırlamak konusunda haklısınız .$A$$b$

Bununla birlikte, sütunlarının normlarını ayarlamak için , normlu A ile başlasanız ve x'in tüm unsurları kabaca aynı büyüklükteyse ne olacağını düşünün . Sonra bir sütunu $A$$A$$x$ . Karşılık gelen elemanıx, bir unregularized regresyon, bir faktör ile arttırılabilir olur , 10 6 . Düzenleme teriminin ne olacağını görüyor musunuz? Düzenleme, tüm pratik amaçlar için, sadece bir katsayı için geçerlidir. $10^{-6}$$x$$10^6$

sütunlarını normale döndürerek, sezgisel olarak yazıyoruz, hepsini aynı ölçeğe yerleştirdik. Sonuç olarak, x öğelerinin büyüklüklerindeki farklılıklar , açıklayıcı işlevin ( A x ) düzenli olarak kontrol etmeye çalıştığı "kıpır kıpırlık" ile doğrudan ilişkilidir . Onsuz, örneğin 10.0'a karşı bir katsayı değeri, 10.0'a karşı bir başkası, A hakkında bilgi yokluğunda, hangi katsayının A x'in "perukluluğuna" en fazla katkıda bulunduğu hakkında hiçbir şey söylemez . ( A x gibi doğrusal bir işlev için, "kıvrım" 0'dan sapma ile ilgilidir.)$A$$x$$Ax$$A$$Ax$$Ax$

Açıklamanıza geri dönmek için, bir sütununun çok yüksek bir normu varsa ve bir nedenden dolayı x cinsinden düşük bir katsayı alırsa , A sütununun x'i iyi "açıklamadığı" sonucuna varamayacağız . A , x'i "açıklamaz" . $A$$x$$A$$x$$A$$x$