Kapalı formdaki kement çözümünün türetilmesi neden yanlış?

Kement sorunu kapalı formda bir çözüme sahip: , ortonormal sütunlara sahipse. Bu, bu başlıkta gösterilmiştir: Kapalı formdaki kement çözeltisinin türetilmesi .

β^{lasso} = \underset{β}{argmin} ‖ y - X β ‖_{2}^{2} + α ‖ β ‖_{1}

$\beta^{\text{lasso}}= \operatorname*{argmin}_\beta \| y-X\beta\|^2_2 + \alpha \| \beta\|_1$

β_{j}^{lasso} = s g n (β_{j}^{LS}) (| β_{j}^{LS} | - α)^{+}

$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\alpha)^+$

X

$X$

Ancak genel olarak neden kapalı form çözümü olmadığını anlamıyorum. Alt farklılıkları kullanarak aşağıdakileri elde ettim.

( $X$ , $n \times p$ Matrix'tir)

f (β) = ‖ y - X β ‖_{2}^{2} + α ‖ β ‖_{1}

$f(\beta)=\|{y-X\beta}\|_2^2 + \alpha\|{\beta}\|_1$

= \sum_{i = 1}^{n} (y_{i} - X_{i} β)^{2} + α \sum_{j = 1}^{p} | β_{j} |

$=\sum_{i=1}^n (y_i-X_i\beta)^2 + \alpha \sum_{j=1}^p |\beta_j|$ (

X_{i}

$X_i$ ,

i-inci

X

$X$ )

= \sum_{i = 1}^{n} y_{i}^{2} - 2 \sum_{i = 1}^{n} y_{i} X_{i} β + \sum_{i = 1}^{n} β^{T} X_{i}^{T} X_{i} β + α \sum_{j = 1}^{p} | β_{j} |

$= \sum_{i=1}^n y_i^2 -2\sum_{i=1}^n y_i X_i \beta + \sum_{i=1}^n \beta^T X_i^T X_i \beta + \alpha \sum_{j=1}^p |\beta_j|$

\Rightarrow \frac{\partial f}{\partial β_{j}} = - 2 \sum_{i = 1}^{n} y_{i} X_{i j} + 2 \sum_{i = 1}^{n} X_{i j}^{2} β_{j} + \frac{\partial}{\partial β_{j}} (α | β_{j} |)

$\Rightarrow \frac{\partial f}{\partial \beta_j}= -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j + \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$

= {\begin{cases} - 2 \sum_{i = 1}^{n} y_{i} X_{i j} + 2 \sum_{i = 1}^{n} X_{i j}^{2} β_{j} + α for β_{j} > 0 \\ - 2 \sum_{i = 1}^{n} y_{i} X_{i j} + 2 \sum_{i = 1}^{n} X_{i j}^{2} β_{j} - α for β_{j} < 0 \\ [- 2 \sum_{i = 1}^{n} y_{i} X_{i j} - α, - 2 \sum_{i = 1}^{n} y_{i} X_{i j} + α] for β_{j} = 0 \end{cases}

$= \begin{cases} -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j + \alpha \text{ for } \beta_j > 0 \\ -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j - \alpha \text{ for } \beta_j < 0 \\ [-2\sum_{i=1}^ny_i X_{ij} - \alpha, -2\sum_{i=1}^ny_i X_{ij} + \alpha] \text{ for } \beta_j = 0 \end{cases}$ ile

\frac{\partial f}{\partial β_{j}} = 0

$\frac{\partial f}{\partial \beta_j} = 0$ aldığımız

β_{j} = {\begin{cases} (2 (\sum_{i = 1}^{n} y_{i} X_{i j}) - α) / 2 \sum_{i = 1}^{n} X_{i j}^{2} & for \sum_{i = 1}^{n} y_{i} X_{i j} > α \\ (2 (\sum_{i = 1}^{n} y_{i} X_{i j}) + α) / 2 \sum_{i = 1}^{n} X_{i j}^{2} & for \sum_{i = 1}^{n} y_{i} X_{i j} < - α \\ 0 & for \sum_{i = 1}^{n} y_{i} X_{i j} \in [- α, α] \end{cases}

$\beta_j = \begin{cases} \left( 2(\sum_{i=1}^ny_i X_{ij}) - \alpha \right)/ 2\sum_{i=1}^n X_{ij}^2 &\text{for } \sum_{i=1}^ny_i X_{ij} > \alpha \\ \left( 2(\sum_{i=1}^ny_i X_{ij}) + \alpha \right)/ 2\sum_{i=1}^n X_{ij}^2 &\text{for } \sum_{i=1}^ny_i X_{ij} < -\alpha \\ 0 &\text{ for }\sum_{i=1}^ny_i X_{ij} \in [-\alpha, \alpha] \end{cases}$

Yanlış yaptığım yeri gören var mı?

Cevap:

Problemi matris cinsinden yazarsak, kapalı bir form çözümünün sadece ortonormal durumda neden sadece ile olduğunu çok kolay görebiliriz $X^TX= I$ :

f (β) = ‖ y - X β ‖_{2}^{2} + α ‖ β ‖_{1}

$f(\beta)= \| y-X\beta\|^2_2 + \alpha \| \beta\|_1$

= y^{T} y - 2 β^{T} X^{T} y + β^{T} X^{T} X β + α ‖ β ‖_{1}

$= y^Ty -2\beta^TX^Ty + \beta^TX^TX\beta + \alpha \| \beta\|_1$

\Rightarrow \nabla f (β) = - 2 X^{T} y + 2 X^{T} X β + \nabla (α | β ‖_{1})

$\Rightarrow \nabla f(\beta)=-2X^Ty + 2X^TX\beta + \nabla(\alpha| \beta\|_1)$ (Burada bir kerede birçok adım attım. Bu noktaya kadar bu, en küçük kareler çözümünün türetilmesine tamamen benzer. Bu yüzden orada eksik adımları bulabilmelisiniz.)

\Rightarrow \frac{\partial f}{\partial β_{j}} = - 2 X_{j}^{T} y + 2 (X^{T} X)_{j} β + \frac{\partial}{\partial β_{j}} (α | β_{j} |)

$\Rightarrow \frac{\partial f}{\partial \beta_j}=-2X^T_{j} y + 2(X^TX)_j \beta + \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$

İle $\frac{\partial f}{\partial \beta_j} = 0$ aldığımız

2 (X^{T} X)_{j} β = 2 X_{j}^{T} y - \frac{\partial}{\partial β_{j}} (α | β_{j} |)

$2(X^TX)_j \beta =2X^T_{j} y - \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$

\Leftrightarrow 2 (X^{T} X)_{j j} β_{j} = 2 X_{j}^{T} y - \frac{\partial}{\partial β_{j}} (α | β_{j} |) - 2 \sum_{i = 1, i \neq j}^{p} (X^{T} X)_{j i} β_{i}

$\Leftrightarrow 2(X^TX)_{jj} \beta_j = 2X^T_{j} y - \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|) - 2\sum_{i=1,i\neq j}^p(X^TX)_{ji}\beta_i$

Şimdi bir diğer tüm bağlı olduğunu , bu nedenle buradan nasıl devam belli değil. Eğer ortonormal ise bu yüzden kesinlikle bu durumda kapalı bir form çözümü var. $\beta_j$ $\beta_{i\neq j}$ $X$ $2(X^TX)_j \beta = 2(I)_j \beta = 2\beta_j$

Guðmundur Einarsson’a, burada üzerinde durduğum yanıtı için teşekkür ederim. Umarım bu sefer doğru olur :-)

regression lasso regularization

— Norbert
kaynak

CrossValidated'e hoş geldiniz ve çok güzel bir ilk yazı için tebrikler !

— S. Kolassa - Monica,

Bu normalde en az açı regresyonu ile yapılır, kağıdı burada bulabilirsiniz .

Başlangıçtaki kafa karışıklığım için üzgünüm, bu konuda başka bir girişimde bulunacağım.

Yani işlevi genişlemesi sonrasında Alacağınız $f(\beta)$

f (β) = \sum_{i = 1}^{n} y_{i}^{2} - 2 \sum_{i = 1}^{n} y_{i} X_{i} β + \sum_{i = 1}^{n} β^{T} X_{i}^{T} X_{i} β + α \sum_{j = 1}^{p} | β_{j} |

$f(\beta)=\sum_{i=1}^n y_i^2 -2\sum_{i=1}^n y_i X_i \beta + \sum_{i=1}^n \beta^T X_i^T X_i \beta + \alpha \sum_{j=1}^p |\beta_j|$

Sonra kısmi türevi göre . Benim endişem, sizin 1 normdan önceki son terimin kısmi türevini, yani ikinci dereceden terimini hesaplamanızdır. Daha detaylı inceleyelim. Bizde var: $\beta_j$

X_{i} β = β^{T} X_{i}^{T} = (β_{1} X_{i 1} + β_{2} X_{i 2} + \dots + β_{p} X_{i p})

$X_i\beta = \beta^T X_i^T = (\beta_1 X_{i1}+\beta_2 X_{i2}+\cdots+ \beta_p X_{ip})$ Böylece ikinci dereceden teriminizi şu şekilde yeniden yazabilirsiniz: Şimdi bu wrt : nin türevini hesaplamak için zincir kuralını kullanabiliriz

\sum_{i = 1}^{n} β^{T} X_{i}^{T} X_{i} β = \sum_{i = 1}^{n} (X_{i} β)^{2}

$\sum_{i=1}^n \beta^T X_i^T X_i \beta = \sum_{i=1}^n (X_i \beta)^2$

β_{j}

$\beta_j$

\frac{\partial}{\partial β_{j}} \sum_{i = 1}^{n} (X_{i} β)^{2} = \sum_{i = 1}^{n} \frac{\partial}{\partial β_{j}} (X_{i} β)^{2} = \sum_{i = 1}^{n} 2 (X_{i} β) X_{i j}

$\frac{\partial }{\partial \beta_j} \sum_{i=1}^n (X_i \beta)^2 = \sum_{i=1}^n \frac{\partial }{\partial \beta_j} (X_i \beta)^2 = \sum_{i=1}^n 2(X_i \beta)X_{ij}$

Şimdi probleminiz kolay değil, çünkü her denklemde mevcut tüm katsayılarına sahipsiniz . $\beta$

Bu, neden Kement’in kapalı bir form çözümü olmadığına dair sorunuza cevap vermiyor, daha sonra bir şeyler ekleyebilirim.

— Gumeo
kaynak

Çok teşekkürler. Aslında neden kapalı form çözümü olmadığına bakıyorum (düzenlememe bakın).

— Norbert

Tatlı! Harika iş :)

— Gumeo