KKT Kullanarak Norm Düzenli Regresyon ve Norm Kısıtlı Regresyon Arasındaki Eşdeğerliği Gösterme

Referanslarına göre Kitap 1 , Kitap 2 ve kağıt .

Düzenli regresyon (Ridge, LASSO ve Elastik Ağ) ile bunların kısıtlayıcı formülleri arasında bir denklik olduğu belirtilmiştir.

Ayrıca Çapraz Doğrulanmış 1 ve Çapraz Doğrulanmış 2'ye de baktım , ancak denklik veya mantığı gösteren net bir cevap göremiyorum.

Sorum şu

Karush – Kuhn – Tucker (KKT) kullanarak bu denklik nasıl gösterilir?

Aşağıdaki formüller Ridge regresyonu içindir.

NOT

Bu soru ödev değil. Sadece bu konudaki anlayışımı arttırmak.

GÜNCELLEME

Henüz bir fikrim yok.

— jeza
kaynak

Neden 1'den fazla cevaba ihtiyacınız var? Mevcut cevap soruyu kapsamlı bir şekilde ele almaktadır. Optimizasyon yöntemleri hakkında daha fazla bilgi edinmek istiyorsanız, Convex Optimization Lieven Vandenberghe ve Stephen P. Boyd, başlamak için iyi bir yerdir.

— Sycorax, Reinstate Monica

@Sycorax, yorumlarınız ve bana sağladığınız kitap için teşekkürler. Cevap benim için çok açık değil ve daha fazla açıklama isteyemem. Böylece, birden fazla cevap farklı bir bakış açısı ve açıklama şekli görmeme izin verebilir.

— jeza

@jeza, Cevabımda eksik olan ne?

— Royi

Lütfen sorunuzu metin olarak yazın, sadece bir fotoğraf göndermeyin ( buraya bakın ).

— gung - Monica'yı eski

Yanıtlar:

Daha teknik cevap, kısıtlı optimizasyon probleminin Lagrange çarpanları açısından yazılabilmesidir. Özellikle, kısıtlı optimizasyon problemiyle ilişkilendirilmiş Lagrange burada , sorunun kısıtlamalarını karşılamak için seçilen bir . Bu optimizasyon problemi için birinci dereceden koşullar (güzel uygun dışbükey fonksiyonlarla çalıştığınız için yeterlidir), Lagrangian'ı beta'ya göre ayırt ederek elde edilebilir.

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} {(y_{i} - \sum_{j = 1}^{p} x_{i j} β_{j})}^{2}} + μ {(1 - α) \sum_{j = 1}^{p} | β_{j} | + α \sum_{j = 1}^{p} β_{j}^{2}}

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}}\,\left\{\sum_{i=1}^N \left(y_i - \sum_{j=1}^p x_{ij} \beta_j\right)^2\right\} + \mu \left\{(1-\alpha) \sum_{j=1}^p |\beta_j| + \alpha \sum_{j=1}^p \beta_j^2\right\}$

μ

$\mu$

β

$\beta$ ve türevleri 0'a eşitlemek (LASSO kısmı farklılaştırılamaz noktalara sahip olduğundan biraz daha inceliklidir, ancak birinci dereceden koşulu hala işler hale getirmek için türevi genelleştirmek için dışbükey analizinden yöntemler vardır ). Bu birinci dereceden koşulların, yazdığınız sınırlandırılmamış sorunun birinci dereceden koşulları ile aynı olduğu açıktır.

Bununla birlikte, genel olarak, bu optimizasyon problemleri ile neden kısıtlı bir optimizasyon probleminin merceğinden veya kısıtsız bir problemin merceğinden problem hakkında düşünmenin genellikle mümkün olduğunu düşünüyorum. Daha somut olarak, aşağıdaki formda bir optimizasyon sorunumuz olduğunu varsayalım: Bu optimizasyonu her zaman doğrudan çözmeyi deneyebiliriz, ancak bazen bu sorunu çözmek mantıklı olabilir alt bileşenler. Özellikle, görmek zor Yani sabit bir değeri için

max_{x} f (x) + λ g (x)

$\max_x f(x) + \lambda g(x)$

max_{x} f (x) + λ g (x) = max_{t} (max_{x} f (x) s . t g (x) = t) + λ t

$\max_x f(x) + \lambda g(x) = \max_t \left(\max_x f(x)\ \mathrm{ s.t }\ g(x) = t\right) + \lambda t$

λ

$\lambda$ (ve optimize edilecek fonksiyonların aslında optimalarına ulaştığını varsayarsak), bununla dış optimizasyon problemini çözen bir değeri ilişkilendirebiliriz . Bu bize kısıtlamasız optimizasyon problemlerinden kısıtlı problemlere bir çeşit haritalama sağlar. Özel ayarınızda, her şey elastik ağ regresyonu için iyi bir şekilde davrandığından, bu eşleme aslında bire bir olmalıdır, bu nedenle belirli bir uygulama için hangisinin daha yararlı olduğuna bağlı olarak bu iki bağlam arasında geçiş yapabilmeniz yararlı olacaktır. Genel olarak, kısıtlanmış ve kısıtlanmamış sorunlar arasındaki bu ilişki daha az iyi davranabilir, ancak kısıtlı ve kısıtlanmamış sorun arasında ne ölçüde hareket edebileceğinizi düşünmek yine de yararlı olabilir.

t^{*}

$t^*$

Düzenleme: İstendiği gibi, LASSO cezasının ayırt edilemezliği ile ilgili tekniklerle uğraşmaktan kaçınırken ana fikirleri yakaladığı için sırt regresyonu için daha somut bir analiz içereceğim. Hatırlayın, optimizasyon problemini çözüyoruz (matris notasyonunda):

\underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} s . t . | | β | |^{2} \leq M

$\underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\}\quad\mathrm{s.t.}\, ||\beta||^2 \leq M$

Let En Küçük Kareler çözüm olabilir (yani, herhangi bir kısıtlama olmadığı zaman). Sonra(bunun olması şartıyla) aksi halde, bağlanmadığı için kısıtlama ilginç değildir. Bu problem için Lagrange yazılabilir Sonra farklılaşırsak , ilk sipariş koşullarını alırız: bu sadece doğrusal denklemler sistemi ve dolayısıyla çözülebilir: $\beta^{OLS}$ $M < \left|\left|\beta^{OLS}\right|\right|$

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} - μ \cdot | | β | |^{2} \leq M

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\} - \mu\cdot||\beta||^2 \leq M$

0 = - 2 (\sum_{i = 1}^{N} y_{i} x_{i} + (\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I) β)

$0 = -2 \left(\sum_{i=1}^N y_i x_i + \left(\sum_{i=1}^N x_i x_i^T + \mu I\right) \beta\right)$

\hat{β} = {(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})

$\hat\beta = \left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)$ bazı çarpan seçimi için . Daha sonra çarpan basitçe kısıtlamayı doğru yapmak için seçilir, yani

μ

$\mu$

{({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i}))}^{T} ({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})) = M

$\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right)^T\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right) = M$ LHS'deki monoton beri var olan . Bu denklem çarpanlarından kısıtlamalara, için açık bir eşleme sağlar ile RHS mevcut olduğunda ve Bu eşleme aslında oldukça sezgisel bir şeye karşılık gelir. Zarf teoremi bize söyler

μ

$\mu$

μ \in (0, \infty)

$\mu \in (0,\infty)$

M \in (0, | | β^{O L S} | |)

$M \in \left(0, \left|\left|\beta^{OLS}\right|\right|\right)$

lim_{μ \to 0} M (μ) = | | β^{O L S} | |

$\lim_{\mu\to 0} M(\mu) = \left|\left|\beta^{OLS}\right|\right|$

lim_{μ \to \infty} M (μ) = 0

$\lim_{\mu \to \infty} M(\mu) = 0$

μ (M)

$\mu(M)$ kısıtlamasının küçük bir gevşemesinden elde ettiğimiz hatadaki marjinal azalmaya karşılık gelir . Bu açıklar, neden zaman üzere karşılık gelir. Kısıt bağlayıcı olmadığında, artık rahatlamanın bir değeri yoktur, bu yüzden çarpan ortadan kaybolur.

M

$M$

μ \to 0

$\mu \to 0$

M \to | | β^{O L S} | |

$M \to \left|\right|\beta^{OLS}\left|\right|$

— stats_model
kaynak

mümkünse pratik bir örnekle adım adım ayrıntılı bir cevap verebilir misiniz?

— jeza

çok teşekkürler, neden KKT'den bahsetmiyorsun? Bu bölgeye aşina değilim, bu yüzden bana lise öğrencisi olarak davran.

— jeza

Bu durumda KKT koşulları, Lagrange'yi farklılaştırarak ve türevi 0'a eşitleyerek bahsettiğim “birinci dereceden koşulların” genelleştirilmesidir. Bu örnekte, kısıtlamalar eşitlik taşıdığından, KKT koşullarına ihtiyacımız yoktur. genellikle dolu. Daha karmaşık durumlarda, olan tek şey yukarıdaki eşitliklerin bir kısmının eşitsizlik haline gelmesi ve çarpanların bağlayıcı olmaması için çarpanın 0 olmasıdır. Örneğin,yukarıda.

M > | | β^{O L S} | |

$M > ||\beta^{OLS}||$

— stats_model

Tarafından büyük bir analizi vardır stats_model içinde onun cevabını .

Benzer soruyu Ridge Regresyonunun Eşdeğer Formüllerinin İspatı'nda yanıtlamaya çalıştım .

Bu dava için daha fazla Hand On yaklaşımı alacağım. İki modelde ve arasındaki
eşlemeyi görmeye çalışalım . $t$ $\lambda$

Olarak yazdım ve görülebilir stats_model içinde yaptığı analize haritalama verilere bağlıdır. Bu nedenle, sorunun özel bir gerçekleştirilmesini seçeceğiz. Yine de kod ve çözüm çizimi, olanlara sezgi ekleyecektir.

Aşağıdaki 2 modeli karşılaştıracağız:

The Regularized Model: \arg min_{x} \frac{1}{2} {‖ A x - y ‖}_{2}^{2} + λ {‖ x ‖}_{2}^{2}

$\text{The Regularized Model: } \arg \min_{x} \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$

The Constrained Model: \begin{aligned} \arg min_{x} & \frac{1}{2} {‖ A x - y ‖}_{2}^{2} \\ subject to & {‖ x ‖}_{2}^{2} \leq t \end{aligned}

$\text{The Constrained Model: } \begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$

ın düzenli modelin çözümü olduğunu ve nin kısıtlı modelin çözümü olduğunu varsayalım . $\hat{x}$ $\tilde{x}$

Biz gelen haritalama bakıyoruz etmek öyle ki . Baktığımızda benim çözümü için Norm Kısıtlama En Küçük Kareler için Çözücü Kısıtlı Model çözme Regülarize- Modeli çözme ve bulgu içerdiğini biri görebiliyordu maçları (gerçek kod sunulmuştur Öklid (ile En Küçük Kareler ) Norm Kısıtlaması ). $t$ $\lambda$ $\hat{x} = \tilde{x}$
$\lambda$ $t$ ${L}_{2}$

Bu yüzden aynı çözücüyü çalıştıracağız ve her için en uygun göstereceğiz . $t$ $\lambda$

Çözücü temel olarak çözer:

\begin{aligned} \arg_{λ} & λ \\ subject to & {‖ {(A^{T} A + 2 λ I)}^{- 1} A^{T} b ‖}_{2}^{2} - t = 0 \end{aligned}

$\begin{align*} \arg_{\lambda} \quad & \lambda \\ \text{subject to} \quad & {\left\| {\left( {A}^{T} A + 2 \lambda I \right)}^{-1} {A}^{T} b \right\|}_{2}^{2} - t = 0 \end{align*}$

İşte Matrix'imiz:

mA =

   -0.0716    0.2384   -0.6963   -0.0359
    0.5794   -0.9141    0.3674    1.6489
   -0.1485   -0.0049    0.3248   -1.7484
    0.5391   -0.4839   -0.5446   -0.8117
    0.0023    0.0434    0.5681    0.7776
    0.6104   -0.9808    0.6951   -1.1300

Ve işte bizim vektörümüz:

Bu haritalama:

Yukarıda görülebileceği gibi, yeterince yüksek değeri için parametresi beklendiği gibi. $t$ $\lambda = 0$

[0, 10] aralığını yakınlaştırma:

Kodun tamamı StackExchange Çapraz Onaylı Q401212 GitHub Depomda mevcuttur .

— Royi
kaynak