Doğrusal regresyonda, regülasyon neden parametre değerlerini de cezalandırıyor?

Şu anda sırt regresyonunu öğreniyorum ve daha karmaşık modellerin (veya daha karmaşık bir modelin tanımının) cezalandırılması konusunda biraz kafam karıştı.

Anladığım kadarıyla, model karmaşıklığı mutlaka polinom düzeni ile ilişkili değildir. Yani:

$$2 + 3+ 4x^2 + 5x^3 + 6x^4$$ aşağıdakilerden daha karmaşık bir modeldir: $$5x^5$$

Düzenlemenin amacının model karmaşıklığını düşük tutmak olduğunu biliyorum, yani diyelim ki 5. dereceden bir polinomumuz var

$$f(x; w) = w_0 + w_1x + w_2x^2 + w_3x^3 + w_4x^4 + w_5x^5$$

0 olan daha fazla parametre daha iyidir.

Ama anlamadığım şey, eğer aynı sıra polinomuysa, daha düşük parametre değerleri neden daha az cezalandırılır? Öyleyse neden:

$$2 + 5x + x^3$$ daha az karmaşık bir model olmak

$$433+ 342x + 323x^3$$ ikisi de aynı polinom düzenindedir ve parametre değerleri sadece verilere bağlıdır.

Teşekkür ederim!

parametre değerleri sadece verilere bağlıdır

Bu, sorunuzun anahtar kısmıdır. Burada kafan karışıyor.

Evet, parametre değerleri verilere bağlıdır. Ancak bir modele uyduğumuzda veriler sabittir . Başka bir deyişle, gözlemlere bağlı bir modele uyuyoruz . Farklı veri kümelerine takılan farklı modellerin karmaşıklığını karşılaştırmak mantıklı değildir .

Ve sabit bir veri kümesi bağlamında, bir model

$$2 + 5x + x^3$$

gerçekten mümkün olan en basit modele, yani düz sıfır modeline,

$$433+ 342x + 323x^3,$$

ve bu, gözlemlerinizin ölçeğinden bağımsız olarak geçerlidir.

Bu arada, kesişme ($2$ ve $433$örneğin, çoğu Lasso formülasyonunda sıklıkla cezalandırılmaz, çünkü genellikle gözlemlerin genel ortalamasını yakalama konusunda serbestçe değişmesine izin vermekte iyiyiz. Başka bir deyişle, modeli tam bir sıfır modeli (sıfırın genellikle keyfi olacağı) değil, gözlemlerin ortalamasına doğru küçültüriz. Bu anlamda bir daire$2$ ve bir daire $433$ model eşit derecede karmaşık kabul edilir.