Kapalı formdaki kement çözeltisinin türetilmesi

Kement sorunu için öyle . Yumuşak eşikleme sonucunu sık sık görüyorum ortonormal durumu için. Çözümün bu şekilde "kolayca gösterilebileceği" iddia ediliyor, ancak daha önce hiç çalışılmış bir çözüm görmedim. Biri gördü mü ya da belki türev yaptı mı? $\min_\beta (Y-X\beta)^T(Y-X\beta)$ $\|\beta\|_1 \leq t$

β_{j}^{lasso} = s g n (β_{j}^{LS}) (| β_{j}^{LS} | - γ)^{+}

$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\gamma)^+$

X

$X$

lasso

— Gary
kaynak

Bu biraz karışık görünüyor. Başlangıçta bir kısıt farz

t

$t$ ve çözeltide bir parametre tanıtmak

γ

$\gamma$ . Sanırım bu ikisinin ikili problemle ilişki kurmaya niyetli olduğunu düşünüyorsun, ama belki de aradığınızı netleştirebilirsiniz.

— kardinal

Kısmen bulma @cardinal yanıt

β

$\beta$ en aza indirir

(Y - X β)^{'} (Y - X β)

$(Y-X\beta )'(Y-X\beta )$ tabi

‖ β ‖_{1} \leq t

$\|\beta\|_1 \leq t$ bulmak eşdeğerdir

β

$\beta$ bu en aza indirir

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ .

t

$t$ ve

arasında 1-1 bir ilişki vardır

γ

$\gamma$ . Yumuşak eşikleme sonucunun neden böyle olduğunu 'kolayca' görmek için ikinci ifadeyi çözmenizi tavsiye ederim (yorumuma göre).

Başka bir not, bulma

β

$\beta$ minimize

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ , sorunu

β_{j} > 0

$\beta_j >0$ ,

β_{j} < 0

$\beta_j<0$ ve

durumlarına

β = 0

$\beta=0$ .

@ cardinal Ah evet, 1-1 yanlış. Düzeltme: Her

t \geq 0

$t\geq0$ için bir

γ \geq 0

$\gamma\geq 0$ .

Harika bir tartışma için teşekkürler! Bu videoya kursta rastladım - Kement koordinatının iniş güncellemesini türetmek, bu tartışma için çok uygun ve çözümün içinde çok zarif bir şekilde yürüyor. Gelecekteki ziyaretçiler için faydalı olabilir :-)

— zorbar

Yanıtlar:

Bu, Karush-Kuhn-Tucker koşulları yoluyla oldukça ekonomik yaklaşımlar dahil olmak üzere çeşitli şekillerde saldırıya uğrayabilir .

Aşağıda oldukça basit bir alternatif argüman var.

Ortogonal tasarım için en küçük kareler çözümü

dikey sütunlardan oluştuğunu varsayalım . Ardından en küçük kareler çözümü $X$

{\hat{β}}^{LS} = (X^{T} X)^{- 1} X^{T} y = X^{T} y .

$\newcommand{\bls}{\hat{\beta}^{{\small \text{LS}}}}\newcommand{\blasso}{\hat{\beta}^{{\text{lasso}}}} \bls = (X^T X)^{-1} X^T y = X^T y \>.$

Bazı eşdeğer problemler

Lagrangian formu aracılığıyla, soruda göz önünde bulundurulan eşdeğer bir sorunun olduğunu görmek kolaydır.

min_{β} \frac{1}{2} ‖ y - X β ‖_{2}^{2} + γ ‖ β ‖_{1} .

$\min_\beta \frac{1}{2} \|y - X \beta\|_2^2 + \gamma \|\beta\|_1 \>.$

İlk terimi genişleterek ve içermediğinden ilgilenilen değişkenlerden, bunu ve başka bir eşdeğer problemi düşünebiliriz, $\frac{1}{2} y^T y - y^T X \beta + \frac{1}{2}\beta^T \beta$ $y^T y$

min_{β} (- y^{T} X β + \frac{1}{2} ‖ β ‖^{2}) + γ ‖ β ‖_{1} .

$\min_\beta (- y^T X \beta + \frac{1}{2} \|\beta\|^2) + \gamma \|\beta\|_1 \>.$

olduğuna göre , önceki sorun $\bls = X^T y$

min_{β} \sum_{i = 1}^{p} - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\min_\beta \sum_{i=1}^p - \bls_i \beta_i + \frac{1}{2} \beta_i^2 + \gamma |\beta_i| \> .$

Amaç işlevimiz şimdi her biri ayrı bir değişkenine karşılık gelen bir hedefler toplamıdır , bu nedenle her biri ayrı ayrı çözülebilir. $\beta_i$

Bütün, parçalarının toplamına eşittir.

Belirli bir düzeltmek . Sonra $i$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma |\beta_i| \> .$

Eğer , o zaman olmalıdır aksi beri biz onun işaretini çevirmek ve amaç fonksiyonu için daha düşük bir değer elde edebilirsiniz. Aynı şekilde , . $\bls_i > 0$ $\beta_i \geq 0$ $\bls_i < 0$ $\beta_i \leq 0$

Durum 1 : . Yana , ve ilgili olarak bu farklılaşan ve sıfıra eşit ayarlama , elde ve bu yalnızca sağ taraf değilse, bu durumda gerçek çözüm mümkündür; bu durumda asıl çözüm $\bls_i > 0$ $\beta_i \geq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ β_{i},

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma \beta_i \> ,$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} - γ

$\beta_i = \bls_i - \gamma$

{\hat{β}}_{i}^{lasso} = ({\hat{β}}_{i}^{LS} - γ)^{+} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = (\bls_i - \gamma)^+ = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

Durum 2 : . Bu, olmalı ve böylece göre ve sıfıra eşit ayar yaparak, . Fakat yine de, bunun mümkün olmasını sağlamak için, alarak elde edilen ihtiyacımız var $\bls_i \leq 0$ $\beta_i \leq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} - γ β_{i} .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 - \gamma \beta_i \> .$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} + γ = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)

$\beta_i = \bls_i + \gamma = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)$

β_{i} \leq 0

$\beta_i \leq 0$

{\hat{β}}_{i}^{lasso} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

Her iki durumda da istenen formu alıyoruz ve bu yüzden bitti.

Son sözler

— kardinal
kaynak

Harika yazma @ cardinal!

— Gary

+ 1 iki yarım amaç fonksiyonu basit gözlemi ile ikame edilmiş olabilir olan İki dışbükey parabolün parçalarının köşelerinde birliği , burada negatif işaret ve pozitif işareti . Formül, alt köşeyi seçmenin sadece süslü bir yoludur.

β \to \frac{1}{2} β^{2} + (\pm γ - \hat{β}) β

$\beta\to\frac{1}{2}\beta^2+(\pm\gamma-\hat{\beta})\beta$

\pm γ - \hat{β}

$\pm\gamma-\hat{\beta}$

β < 0

$\beta\lt 0$

— whuber

Mümkünse, KKT-optimallik koşullarını kullanarak türevleri görmek istiyorum. Bu sonucu elde etmenin başka yolları nelerdir?

— user1137731 10:12

@Cardinal: Güzel bir türev için teşekkürler. Bir gözlem. Hatırlarsam, ortogonal sütunlara sahip matris ortogonal (aka ortonormal) bir matrisle aynı değildir. O zaman bazı çapraz matris (zorunlu olarak kimlik matrisi değil). Ortogonal matris varsayımıyla (orijinal sorudaki gibi), ve hepsi harika görünüyor :)

X^{'} X = D

$X'X=D$

D

$D$

X^{'} X = I

$X'X=I$

— Oleg Melnikov

@cardinal "Neden aksi takdirde işaretini çevirip objektif işlev için daha düşük bir değer elde edebiliriz" dediğini anlamıyorum. Amaç fonksiyonunun türevini alıyoruz. Öyleyse, nesnel işlev daha yüksek veya düşükse, kimin umrunda. Tek umursadığımız türev sıfıra ayarlanmış, ekstremaya önem veriyoruz. Bir sabit tarafından daha yüksek veya daha düşük olması argmin'i etkilemez.

— user13985,

Varsayalım ki, değişkenleri , nin sütunları da, şekilde standartlaştırılmıştır . Bu sadece daha sonra kolaylık sağlamak içindir: onsuz, sadece çapraz olduğundan gösterim artık daha ağırlaşıyor . Ayrıca olduğunu varsayalım . Bu, sonucun tutulması için gerekli bir varsayımdır. En küçük kareler tahmincisini tanımlayın . Sonra, (Lagrangian formunda) kement tahmincisi $x_j$ $X \in \mathbb{R}^{n \times p}$ $X^T X = I$ $X^T X$ $n \geq p$ $\hat\beta_{OLS} = \arg\min_\beta \|y - X \beta\|_2^2$

\begin{aligned} (defn.) & {\hat{β}}_{λ} & = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (OLS is projection) & = \arg min_{β} \frac{1}{2 n} ‖ X {\hat{β}}_{O L S} - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (X^{T} X = I) & = \arg min_{β} \frac{1}{2 n} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (algebra) & = \arg min_{β} \frac{1}{2} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + n λ ‖ β ‖_{1} \\ (defn.) & = {p r o x}_{n λ ‖ \cdot ‖_{1}} ({\hat{β}}_{O L S}) \\ (takes some work) & = S_{n λ} ({\hat{β}}_{O L S}), \end{aligned}

$\begin{align*} \hat\beta_\lambda & = \arg\min_{\beta} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{defn.} \\ & = \arg\min_\beta \frac{1}{2n} \|X \hat\beta_{OLS} - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{OLS is projection} \\ & = \arg\min_\beta \frac{1}{2n} \|\hat\beta_{OLS} - \beta\|_2^2 + \lambda \|\beta\|_1 \tag{$X^TX=I$} \\ & = \arg\min_\beta \frac{1}{2} \|\hat\beta_{OLS} - \beta\|_2^2 + n \lambda \|\beta\|_1 \tag{algebra} \\ & = \mathrm{prox}_{n \lambda \|\cdot\|_1} \left( \hat\beta_{OLS} \right) \tag{defn.} \\ & = S_{n \lambda} \left( \hat\beta_{OLS} \right) \tag{takes some work}, \end{align*}$ \ ucu {align *} burada fonksiyonu yakın operatörü ve miktarı yumuşak eşik

{p r o x}_{f}

$\mathrm{prox}_f$

f

$f$

S_{α}

$S_{\alpha}$

α

$\alpha$ .

Bu, Cardinal'in çalıştığı proksimal operatörün ayrıntılı türevini atlayan bir türetmedir, ancak umarım, kapalı bir formu mümkün kılan ana adımları açıklığa kavuşturur.

— user795305
kaynak