Karesel Programlama ve Kement

Aşağıdaki formu olan bir kement regresyon gerçekleştirmek için çalışıyorum:

Minimize olarak $w$ $(Y - Xw)'(Y - Xw) + \lambda \;|w|_1$

Bir verildiğinde , aşağıdaki formu alan ikinci dereceden programlama yardımıyla en uygun bulmam tavsiye edildi : $\lambda$ $w$

Minimize $x$ de $\frac{1}{2} x'Qx + c'x$ , hastanın $Ax \le b.$

Şimdi $\lambda$ teriminin , oldukça basit olan kısıtlama terimine dönüştürülmesi gerektiğini anlıyorum $Ax \le b$ . Ancak, bir şekilde ilk denklemin ilk terimini ikincinin ilk terimine nasıl aktarabileceğimi göremiyorum. Bu konuda net bulamadım, bu yüzden burada sormaya karar verdim.

regression lasso quadratic-form

— spurra
kaynak

Yanıtlar:

Standart formda ' ' değişkeni olarak ile çalıştığımızı unutmayın, genişletin ve ve ve ve sabitler. $w$ $x$ $(Y - Xw)'(Y - Xw)$ $w'\, [\,_{^{^\text{something}}}]\,w$ $w'$ $w$

Sabitleri neden görmezden gelebileceğinizi açıklayın.

ve terimlerini neden birleştirebileceğinizi açıklayın . $w'$ $w$

BananaCode şimdiye kadar yol boyunca önde gelen bazılarıyla anlaşıldığından, ve veya daha basit bir şekilde yazabilirsiniz, sadece ve (çünkü ve herhangi bir için aynı argine'ye sahiptir ). $Q=2X'X$ $c=-2X'Y$ $Q=X'X$ $c=-X'Y$ $f(x)$ $kf(x)$ $k>0$

— Glen_b-Monica'yı eski durumuna döndür
kaynak

Sabitler göz ardı edilebilir, çünkü eğer x_ f (x) için minimum ise, x_ + c f (x) + c için minimumdur, dolayısıyla c sabitini göz ardı edebiliriz. Sıkıştığım yeri göstermek için sorumu düzenleyeceğim.

— spurra

BananaCode açıklamanızın birkaç kusuru var. Tarafından ise "için minimum " Şunu "da argümanı en aza indirilir" demenin gibi bir şey " olduğunu ait ". Ama varılan sonuç yanlış. Eğer eklerseniz için , sen katmayan argmin için.

f (x)

$f(x)$

f (x)

$f(x)$

x^{*}

$x^*$

argmin

$\text{argmin}$

f

$f$

c

$c$

f

$f$

c

$c$

— Glen_b

Cevabımda yazdığımı gördünüz mü? Ne var şey artık arasında var ve sorunuzun altındaki ??

w^{'} [something] w

$w'\, [\,\text{something}]\,w$

w^{'}

$w'$

w

$w$

— Glen_b

Evet, demek olan ait . Sonucumun yanlış olduğu bir örnek verebilir misiniz? olan I biçim çalışıyorum matrix. Ben genişletirseniz Ben olsun . İlk kısım matrisinin biçimini temsil eder , ancak ikinci terim .

x *

$x*$

a r g m i n

$argmin$

f

$f$

[s o m e t h i n g]

$[something]$

Q

$Q$

w^{'} (X^{'} X w - X^{'} Y)

$w'(X'Xw - X'Y)$

w^{'} X^{'} X w - w^{'} X^{'} Y

$w'X'Xw - w'X'Y$

Q

$Q$

- w^{'} X^{'} Y

$-w'X'Y$

— spurra

@ AD.Net Kısıtlamalar çoğunlukla diğer cevapta ele alınmaktadır.

— Glen_b

Kısıtlamaları dönüştürmeyi nasıl çözeceğimizi eklemek istedim kuadratik programlama için kullanılabilir bir forma, ben sandığı kadar basit değil gibi. Gerçek bir matris bulmak mümkün değildir öyle ki . $\sum |w_i| \le s$ $A$ $Aw \le s \leftrightarrow \sum |w_i| \le s$

Ben kullanılan yaklaşım elemanlarının bölünmüş olduğunu vektörün içine ve , böylece . Eğer , sahip ve , başka varve . Veya daha matematiksel olarak, veHem hem de negatif olmayan sayılardır. Sayıları bölmenin arkasındaki fikir, şimdi sahip olduğunuz $w_i$ $w$ $w_i^+$ $w_i^-$ $w_i = w_i^+ - w_i^-$ $w_i \ge 0$ $w_i^+ = w_i$ $w_i^- = 0$ $w_i^- = |w_i|$ $w_i^+ = 0$ $w_i^+ = \frac{|w_i| + w_i}{2}$ $w_i^- = \frac{|w_i| - w_i}{2}.$ $w_i^-$ $w_i^+$ $|w_i| = w_i^+ + w_i^-$ mutlak değerlerden etkili bir şekilde kurtulmaktır.

Optimize etme işlevi şu : , konu için $\frac{1}{2}(w^+ - w^-)^TQ(w^+ - w^-) + c^T(w^+ - w^-)$ $w_i^+ + w_i^- \le s, \\ w_i^+,w_i^- \ge 0$

Burada ve Glen_b göre yukarıda belirtildiği gibi, verilen $Q$ $c$

Bunun kullanılabilir bir forma dönüştürülmesi gerekiyor, yani bir vektöre ihtiyacımız var. Bu aşağıdaki şekilde yapılır:

$\frac{1}{2} \bigg[ \begin{array}{c} w^+ \\ w^- \end{array} \bigg]^T \bigg[ \begin{array}{cc} Q & -Q \\ -Q & Q \end{array} \bigg] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] + \big[ \begin{array}{cc} c^T & -c^T \end{array} \big] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg]$

tabi

$\bigg[ \begin{array}{cc} I_D & I_D \\ -I_{2D} \end{array} \bigg]\bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] \le \bigg[ \begin{array}{c} s_D \\ 0_{2D} \end{array}\bigg]$

Burada olan boyutlu birim matris, bir tek değer oluşan boyutlu vektör ve bir boyutlu sıfır vektör. İlk yarı , ikinci kullanılabilir bir formu aramak için kuadratik programlama kullanmak için Şimdi ise ve , verilen . Bu işlem tamamlandıktan sonra, ile ilgili olarak optimum bir parametre olduğu . $I_D$ $D$ $s_D$ $D$ $s$ $0_D$ $2*D$ $|w_i| = w_i^+ + w_i^- \le s$ $w_i^+,w_i^- \ge 0$ $w^+$ $w^-$ $s$ $s$ $w = w^+ - w^-$

Kaynak ve ek okuma: Mutlak değerler içeren doğrusal kısıtlamalarla ikinci dereceden programlama problemini çözme

— spurra
kaynak

İdeal bir boyutlu vektör bulduğumuzu varsayalım . Ne olmasını sağlar ve pozitif parça ve bazı vektör olumsuz parçalar aslında yani onların, giriş pozisyonları örtüşüyor mu?

2 D

$2D$

(w^{+}, w^{-})

$(w^+, w^-)$

w^{+}

$w^+$

w^{-}

$w^-$

w

$w$

0

$0$

— Myath

Son ifadedeki matris ve vektör daha basit ve aslında daha doğru olabilir. [Id Id] [w + w−] '≤ Sd yerine [1 1 .... 1] [w + w-]' ≤ s koyabilirsiniz. Bu kelimenin tam anlamıyla ∑ | wi | = ∑ (wi + + wi−) ≤ s.

— Marko