Sırt regresyonunun eşdeğer formüllerinin kanıtı

İstatistiksel öğrenmede en popüler kitapları okudum

1- İstatistiksel öğrenmenin öğeleri.

2- İstatistiksel öğrenmeye giriş .

Her ikisi de sırt regresyonunun eşdeğer iki formüle sahip olduğunu belirtiyor. Bu sonucun anlaşılabilir bir matematiksel kanıtı var mı?

Ben de Cross Validated geçtim, ama orada kesin bir kanıt bulamıyorum.

Dahası, LASSO da aynı kanıt türünden faydalanacak mı?

Klasik Ridge Regresyonu ( Tikhonov Düzenlemesi ):

$$\arg \min_{x} \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$$

Yukarıdaki iddia aşağıdaki sorunun eşdeğer olmasıdır:

$$\begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$$

birinci sorunun en uygun çözümü ve ikinci sorunun en uygun çözümü olarak tanımlayalım .$\hat{x}$$\tilde{x}$

Eşdeğerlik iddiası . Yani her zaman bir çift ve , böylece sorunun çözümü aynıdır.$\forall t, \: \exists \lambda \geq 0 : \hat{x} = \tilde{x}$
$t$$\lambda \geq 0$

Nasıl bir çift bulabiliriz?
Sorunları çözerek ve çözümün özelliklerine bakarak.
Her iki sorun da Konveks ve pürüzsüzdür, bu yüzden işleri daha basit hale getirmelidir.

İlk problemin çözümü, gradyanın ortadan kalktığı noktada verilir, yani:

$$\hat{x} - y + 2 \lambda \hat{x} = 0$$

KKT Koşullar ikinci sorunu durumlarının:

$$\tilde{x} - y + 2 \mu \tilde{x} = 0$$

ve

$$\mu \left( {\left\| \tilde{x} \right\|}_{2}^{2} - t \right) = 0$$

Son denklem, veya .$\mu = 0$${\left\| \tilde{x} \right\|}_{2}^{2} = t$

2 temel denklemin eşdeğer olduğuna dikkat edin.
Yani ve her iki denklem de geçerlidir. $\hat{x} = \tilde{x}$$\mu = \lambda$

Yani biri olmalıdır , bu da her ikisinin eşdeğer olması için yeterince büyük olması için ayarlanması gerektiği anlamına gelir .${\left\| y \right\|}_{2}^{2} \leq t$$\mu = 0$$t$$\lambda = 0$

Diğer durumda bulmak gerekir nerede:$\mu$

$${y}^{t} \left( I + 2 \mu I \right)^{-1} \left( I + 2 \mu I \right)^{-1} y = t$$

Bu temelde${\left\| \tilde{x} \right\|}_{2}^{2} = t$

Bir kere sen bulmak çözümler çarpışacak.$\mu$

İlgili (LASSO) durumda, iyi, aynı fikri ile birlikte çalışır. Tek fark, çözüm için kapatmadık ve dolayısıyla bağlantıyı daha karmaşık hale getiriyoruz.${L}_{1}$

Benim cevap göz at Stack Exchange Çapraz Doğrulanmış Q291962 ve Önemi - Stack Exchange Sinyal İşleme Q21730 Temeli Peşinde$\lambda$ .

Açıklama
Aslında ne oluyor?
Her iki problemde de , mümkün olduğunca yakın olmaya çalışır . İlk durumda, ilk terimi ( mesafe) yok edecek ve ikinci durumda objektif işlevi ortadan kaldıracaktır. Fark, ilk durumda kişinin Normunu dengelemesi gerektiğidir . As yüksek denge aracı alır sen yapmalıdır küçük. İkinci durumda bir duvar var, yaklaştırıyorsunuz$x$$y$
$x = y$${L}_{2}$
${L}_{2}$$x$$\lambda$$x$
$x$$y$Normundaki kısıt olan duvara çarpana kadar (By ). Duvar yeterince yüksekse ( yüksek değeri ) ve yeterince normuna bağlıysa , hiçbir anlamı yoktur, tıpkı sadece değerinin normuyla çarpımı ile ilgili olduğu gibi anlamlı olmaya başlar. Tam bağlantı yukarıda belirtilen Lagrangian'dır.$t$
$t$$y$$\lambda$$y$

kaynaklar

Bu makaleyi bugün buldum (03/04/2019):

• Bir Seyrek Optimizasyon Problemleri Sınıfı için Yaklaşık Sertlik .

Neler olup bittiğini anlamaya yönelik daha az matematiksel olarak titiz ama muhtemelen daha sezgisel bir yaklaşım, kısıtlama sürümü (söz konusu 3.42 denklemi) ile başlamak ve "Lagrange Multiplier" ( https: //en.wikipedia) yöntemlerini kullanarak çözmek. .org / wiki / Lagrange_multiplier veya favori çok değişkenli analiz metniniz). Sadece hesabında değişkenlerin vektörü olduğunu unutmayın , ama bizim durumumuzda sabittir ve değişken vektördür. Lagrange çarpan tekniğini uyguladıktan sonra ilk denklem (3.41) ile sonuçlanırsınız (minimizasyona göre sabit olan ve göz ardı edilebilecek ekstra atıldıktan sonra ).$x$$x$$\beta$$-\lambda t$

Bu, bunun kement ve diğer kısıtlamalar için de işe yaradığını gösterir.

Belki de Lagrange dualitesi ve aşağıdakiler arasında daha geniş bir ilişki (bazen eşdeğerlik) hakkında okumaya değer:

• optimizasyon zor (dokunulmaz) kısıtlamalara tabidir
• kısıtlamaları ihlal eden cezalarla optimizasyon.

Zayıf ikilik ve güçlü ikilik için hızlı giriş

İki değişkenli fonksiyonumuz olduğunu varsayalım . Herhangi bir ve için:$f(x,y)$$\hat{x}$$\hat{y}$

$$\min_x f(x, \hat{y}) \leq f(\hat{x}, \hat{y}) \leq \max_y f(\hat{x}, y)$$

Bu herhangi bir ve için geçerli olduğu için:$\hat{x}$$\hat{y}$

$$\max_y \min_x f(x, y) \leq \min_x \max_y f(x, y)$$

Bu zayıf dualite olarak bilinir . Belirli durumlarda, ayrıca güçlü bir dualiteye sahipsiniz ( eyer noktası özelliği olarak da bilinir ):

$$\max_y \min_x f(x, y) = \min_x \max_y f(x, y)$$

Güçlü dualite devam ettiğinde, ikili problemi çözmek de temel problemi çözer. Bir anlamda aynı problemler!

Kısıtlı Ridge Regresyonu için Lagrangian

işlevini şu şekilde tanımlayayım :$\mathcal{L}$

$$\mathcal{L}(\mathbf{b}, \lambda) = \sum_{i=1}^n (y - \mathbf{x}_i \cdot \mathbf{b})^2 + \lambda \left( \sum_{j=1}^p b_j^2 - t \right)$$

Lagrangian'ın min-max yorumu

Zorlu kısıtlamalara maruz kalan Ridge regresyon problemi:

$$\min_\mathbf{b} \max_{\lambda \geq 0} \mathcal{L}(\mathbf{b}, \lambda)$$

Sen almak bundan sonra objektif, vakıf aza indirmek için çekilir, rakibin ayarlayacaktır seçtiyseniz sonsuza böyle .$\mathbf{b}$$\mathbf{b}$$\lambda$$\mathbf{b}$$\sum_{j=1}^p b_j^2 > t$

Güçlü ikilik tutarsa ​​(burada Slater'in durumu için karşılandığı için geçerlidir ), daha sonra siparişi tersine çevirerek aynı sonucu elde edersiniz:$t>0$

$$\max_{\lambda \geq 0} \min_\mathbf{b} \mathcal{L}(\mathbf{b}, \lambda)$$

Burada rakibiniz ilk önce seçiyor ! Daha sonra , seçimlerini zaten bilerek hedefi en aza indirmek için i seçersiniz . parça (alınmış verilen gibi) Ridge Regresyon sorun 2. formuna eşdeğerdir.$\lambda$ $\mathbf{b}$$\lambda$$\min_\mathbf{b} \mathcal{L}(\mathbf{b}, \lambda)$$\lambda$

Gördüğünüz gibi, bu Ridge regresyonuna özgü bir sonuç değil. Daha geniş bir kavramdır.

Referanslar

(Bu göreve Rockafellar'dan okuduğum bir serginin ardından başladım.)

Rockafellar, RT, Konveks Analizi

Stephen Boyd'un dışbükey optimizasyon dersinden ders 7 ve ders 8'i de inceleyebilirsiniz .

Eşdeğer değiller .

Kısıtlı bir küçültme sorunu için

$$\min_{\mathbf b} \sum_{i=1}^n (y - \mathbf{x}'_i \cdot \mathbf{b})^2\\ s.t. \sum_{j=1}^p b_j^2 \leq t,\;\;\; \mathbf b = (b_1,...,b_p) \tag{1}$$

karşılık gelen Lagrangean üzerinde en aza indirerek çözüyoruz$\mathbf b$

$$\Lambda = \sum_{i=1}^n (y - \mathbf{x}'_i \cdot \mathbf{b})^2 + \lambda \left( \sum_{j=1}^p b_j^2 - t \right) \tag{2}$$

Burada, , bir ekzojen olarak verilen bağlı olduğu bir Karush-KuhnTucker negatif olmayan bir çoğaltıcı, ve hem de p vektörü ve azaltma işlemi vasıtasıyla en iyi şekilde belirlenecek verilen . $t$$\lambda \geq 0$ $\lambda$ $t$

OP'nin gönderisindeki ve eq karşılaştırıldığında , Ridge tahmincisinin $(2)$$(3.41)$

$$\min_{\mathbf b}\{\Lambda + \lambda t\} \tag{3}$$

İçinde bu yana fonksiyonu kısıtlı minimizasyon problemi artı içermeyen bir terimin Lagrangean göründüğünden minimize edilecek , o aslında iki yaklaşım eşdeğerdir görünür ...$(3)$$\mathbf b$

Ancak bu doğru değildir çünkü Ridge regresyonunda verilen . Ancak, kısıtlanmış minimizasyon probleminin merceğinde, varsayıldığında , kısıtlamanın bağlayıcı olduğu koşulu , yani$\mathbf b$ $\lambda >0$$\lambda >0$

$$\sum_{j=1}^p (b^*_{j,ridge})^2 = t$$

Genel kısıtlı minimizasyon problemi da izin verir ve temel olarak özel durumlar olarak temel en küçük kareler tahmincisini ( ) ve Ridge tahmincisini ( ) içeren bir formülasyondur. .$\lambda = 0$$\lambda ^*=0$$\lambda^* >0$

Dolayısıyla iki formülasyon eşdeğer değildir. Bununla birlikte, Matthew Gunn'un gönderisi, ikisinin çok yakından nasıl bağlantılı olduğunu başka ve çok sezgisel bir şekilde gösteriyor. Ancak dualite denklik değildir.