Düzenleme ile lagrange çarpanları yöntemi arasındaki bağlantı nedir?

İnsanların fazla uymasını önlemek için insanlar , doğrusal regresyonun maliyet fonksiyonuna bir düzenleme parametresi ile bir modelleme terimi (modelin parametrelerinin kare toplamıyla orantılı) ekler $\lambda$. Bu parametresi $\lambda$bir lagrange çarpanı ile aynı mıdır? Düzenleme, lagrange çarpanı yöntemiyle aynı mıdır? Veya bu yöntemler nasıl bağlanır?

Diyelim ki , parametre vektörünün büyüklüğü üzerinde bir kısıtlamaya tabi bazı f ( → θ ) kriterlerini en aza indirerek parametrelerine sahip bir modeli optimize ediyoruz (örneğin, iç içe artan bir dizi model inşa ederek yapısal bir risk minimizasyonu yaklaşımı uygulamak karmaşıklık), çözmemiz gerekir:$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

Lagrangian bu sorun için (uyarı: Bence, uzun bir gün oldu ... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

Bu nedenle, düzenli bir maliyet fonksiyonunun, kısıtlama optimizasyon problemiyle yakından ilişkili olduğu görülebilir; bu düzenleme parametresi , kısıtlamayı ( ) yöneten sabitle ilişkilidir ve esasen Lagrange çarpanıdır. $\lambda$$C$

Bu, örneğin sırt regresyonunun neden yapısal risk minimizasyonunu uyguladığını gösterir: Düzenleme, ağırlık vektörünün büyüklüğüne bir sınırlama koymaya eşdeğerdir ve eğer ise, kısıtlamaya yapılabilecek her model$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

kısıtlama altında da mevcut olacak

$\|\vec{\theta}\|^2 < C_1$ .

Bu nedenle azaltılması , karmaşıklığı artıran bir dizi hipotez alanı üretir.$\lambda$