Ters sırt regresyonu: tepki matrisi ve regresyon katsayıları verildiğinde uygun öngörücüler bulun

Standart bir OLS regresyon problemini düşünün $\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}$ $\Y$ $\X$ $\B$

L = ‖ Y - X β ‖^{2} .

$L=\|\Y-\X\B\|^2.$

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X)^{+} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y.$

Ben aynı zamanda bir "ters" Sorun oluşturabilir: Verilen $\Y$ ve $\B^*$ bulmak $\hat\X$ doğuracak $\hat\B\approx \B^*$ , yani minimize edecek $\|\argmin_\B\{L\}-\B^*\|^2$ . Bir deyişle, yanıt matrisinin sahip $\Y$ ve katsayı vektörü $\B^*$ ve yakın katsayıları doğuracak prediktörü matrisi bulmak istiyoruz $\B^*$ . Bu elbette, ile ilgili bir OLS regresyon problemidir.

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = Y β^{⊤} (β β^{⊤})^{+} .

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \Y\B^\top(\B\B^\top)^{+}.$

Açıklama güncellemesi: @ GeoMatt22'nin cevabında açıkladığı gibi, $\Y$ bir vektörse (yani sadece bir cevap değişkeni varsa), bu $\hat \X$ birinci sıradadır ve ters problem büyük ölçüde tespit edilemez. Benim durumumda, $\Y$ bir matris (birçok tepki değişken vardır, yani bu bir olduğunu aslında çok değişkenli regresyon). Yani $\X$ olan $n\times p$ , $\Y$ bir $n\times q$ ve $\B$ bir $p\times q$ .

Sırt regresyonu için "ters" bir problemi çözmekle ilgileniyorum. Yani, kayıp fonksiyonum şimdi

L = ‖ Y - X β ‖^{2} + μ ‖ β ‖^{2}

$L=\|\Y-\X\B\|^2+\mu\|\B\|^2$ ve çözüm

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X + μ I)^{- 1} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\}=(\X^\top \X+\mu\mathbf I)^{-1}\X^\top \Y.$

"Ters" sorunu

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = ?

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \;?$

Yine, bir yanıt matrisinin sahip $\Y$ ve katsayısı vektörü $\B^*$ ve yakın katsayıları verecek bir belirleyici matrisi bulmak istiyoruz $\B^*$ .

Aslında ilgili iki formülasyon vardır:

$\hat\X$ verilen $\Y$ ve $\B^*$ ve bulun $\mu$ .
ve verilen ve bulun . $\hat\X$ $\hat \mu$ $\Y$ $\B^*$

Her ikisinin de doğrudan bir çözümü var mı?

Sorunu göstermek için kısa bir Matlab alıntısı:

% generate some data
n = 10; % number of samples
p = 20; % number of predictors
q = 30; % number of responses
Y = rand(n,q);
X = rand(n,p);
mu = 0;
I = eye(p);

% solve the forward problem: find beta given y,X,mu
betahat = pinv(X'*X + mu*I) * X'*Y;

% backward problem: find X given y,beta,mu
% this formula works correctly only when mu=0
Xhat =  Y*betahat'*pinv(betahat*betahat');

% verify if Xhat indeed yields betahat
betahathat = pinv(Xhat'*Xhat + mu*I)*Xhat'*Y;
max(abs(betahathat(:) - betahat(:)))

mu=0Aksi halde bu kod sıfır verir .

regression least-squares ridge-regression

— amo diyor Reinstate Monica
kaynak

Yana ve verilir, bunlar kaybına varyasyonları etkilemez. Bu nedenle (1) 'de hala OLS yapıyorsunuz. Kayıp alarak keyfi küçük yapılabilir çünkü (2), aynı derecede basittir bunun üzerine empoze etmek karşılaştırmak herhangi kısıtlamaları dahilinde, keyfi olarak negatif. Bu durum sizi duruma düşürür (1).

B

$B$

μ

$\mu$

\hat{μ}

$\hat\mu$

— whuber

@whuber Teşekkürler. Sanırım yeterince açıklamamıştım. (1) 'i düşünün. ve verilir (buna diyelim ), ama yakın sırt regresyon katsayıları verecek bulmalıyım , başka bir deyişle minimize ediciBunun neden OLS olması gerektiğini anlamıyorum.

B

$B$

μ

$\mu$

B^{*}

$B^*$

X

$X$

B^{*}

$B^*$

X

$X$

‖ \underset{B}{argmin} {L_{r i d g e} (X, B)} - B^{*} ‖^{2} .

$\Big\|\operatorname*{argmin}_B\big\{ L_\mathrm{ridge}(X,B)\big\} - B^*\Big\|^2.$

— amoeba, Reinstate Monica

Ben Sanki ve ben bulmak istiyorum öyle ki yakın belirli bir etmektir . bulmakla aynı şey değildir .

f (v, w)

$f(v,w)$

v

$v$

{argmin}_{w} f (v, w)

$\operatorname{argmin}_w f(v,w)$

w^{*}

$w^*$

{argmin}_{v} f (v, w^{*})

$\operatorname{argmin}_v f(v,w^*)$

— amip diyor ki Reinstate Monica

Besbelli sen çünkü yazınıza fuar, bu konuda kafa karıştırıcı değil aslında kullanarak kaybı fonksiyonu olarak. Muhtemelen yazıdaki (1) ve (2) sorunlarının ayrıntılarını açıklayabilir misiniz?

L

$L$

— whuber

@ hxd1011 X'deki birçok sütuna genellikle "çoklu regresyon", Y'deki birçok sütuna genellikle "çok değişkenli regresyon" denir.

— amip diyor ki Reinstate Monica

Şimdi soru, ilgilenilen sorunun daha kesin bir formülasyonuna dönüştüğüne göre, vaka 1 (bilinen sırt parametresi) için bir çözüm buldum. Bu durum vaka 2 için de yardımcı olacaktır (tam olarak analitik bir çözüm değil, basit bir formül ve bazı kısıtlamalar).

Özet: İki ters problem formülasyonunun hiçbirinin kendine özgü bir cevabı yoktur. Gelen halinde 2 , burada sırt parametresi sonsuz sayıda çözüm bulunmaktadır bilinmemektedir için . verildiği 1 durumunda , tekil değer spektrumundaki belirsizlik nedeniyle için sınırlı sayıda çözüm vardır . $\mu\equiv\omega^2$ $X_\omega$ $\omega\in[0,\omega_\max]$ $\omega$ $X_\omega$

(Türetme biraz uzun, bu yüzden TL, DR: sonunda çalışan bir Matlab kodu var.)

Belirsiz Durum ("OLS")

Ileri sorun burada , ve .

min_{B} ‖ X B - Y ‖^{2}

$\min_B\|XB-Y\|^2$

X \in R^{n \times p}

$X\in\mathbb{R}^{n\times p}$

B \in R^{p \times q}

$B\in\mathbb{R}^{p\times q}$

Y \in R^{n \times q}

$Y\in\mathbb{R}^{n\times q}$

Güncellenmiş soruya dayanarak, olduğunu varsayacağız , bu nedenle , ve verildiğinde belirlenen altındadır . olduğu gibi , "varsayılan" (minimum norm) çözeltisi varsayarız ; burada , tersi tersidir . $n<p<q$ $B$ $X$ $Y$ $L_2$

B = X^{+} Y

$B=X^+Y$

X^{+}

$X^+$

X

$X$

* verilen tekil değer ayrışmasından ( SVD ) , yalancı ters ** olarak hesaplanabilir. (* İlk ifadeler tam SVD'yi kullanırken, ikinci ifadeler azaltılmış kullanır. ** Basitlik için tam sıralamaya sahip olduğunu varsayıyorum , yani var.) $X$

X = U S V^{T} = U S_{0} V_{0}^{T}

$X=USV^T=US_0V_0^T$

X^{+} = V S^{+} U^{T} = V_{0} S_{0}^{- 1} U^{T}

$X^+=VS^+U^T=V_0S_0^{-1}U^T$

X

$X$

S_{0}^{- 1}

$S_0^{-1}$

Bu nedenle, ileri sorunun çözümü Gelecekte , burada , tekil değerlerin vektörüdür.

B \equiv X^{+} Y = (V_{0} S_{0}^{- 1} U^{T}) Y

$B\equiv X^+Y=\left(V_0S_0^{-1}U^T\right)Y$

S_{0} = d i a g (σ_{0})

$S_0=\mathrm{diag}(\sigma_0)$

σ_{0} > 0

$\sigma_0>0$

Ters problemde bize ve verilir . yukarıdaki süreçten geldiğini biliyoruz , ancak bilmiyoruz . Görev uygun belirlemektir . $Y$ $B$ $B$ $X$ $X$

Güncellenmiş Söz konusu belirtildiği gibi, bu durumda biz kurtarabilirsiniz esasen aynı yaklaşımı kullanarak, yani şimdi pseudoinverse kullanılarak . $X$

X_{0} = Y B^{+}

$X_0=YB^+$

B

$B$

Aşırı Belirlenmiş Durum (Ridge tahmincisi)

"OLS" durumunda, az tespit edilen sorun, minimum norm çözümü seçilerek çözülmüştür , yani "benzersiz" çözümümüz dolaylı olarak düzenlenmiştir .

Minimum norm çözümünü seçmek yerine , burada normun "ne kadar küçük" olması gerektiğini kontrol etmek için parametresini sunuyoruz, yani sırt regresyonunu kullanıyoruz . $\omega$

Bu durumda, bir var seri için ileri sorunların , tarafından verilir, Farklı sol ve sağ taraf vektörlerini bu koleksiyona toplama sorunlar aşağıdaki "OLS" sorununa indirgenebilir burada artırılmış matrisleri $\beta_k$ $k=1,\ldots,q$

min_{β} ‖ X β - y_{k} ‖^{2} + ω^{2} ‖ β ‖^{2}

$\min_\beta\|X\beta-y_k\|^2+\omega^2\|\beta\|^2$

B_{ω} = [β_{1}, \dots, β_{k}], Y = [y_{1}, \dots, y_{k}]

$B_{\omega}=[\beta_1,\ldots,\beta_k] \quad,\quad Y=[y_1,\ldots,y_k]$

min_{B} ‖ X_{ω} B - Y ‖^{2}

$\min_B\|\mathsf{X}_\omega B-\mathsf{Y}\|^2$

X_{ω} = [\begin{matrix} X \\ ω I \end{matrix}], Y = [\begin{matrix} Y \\ 0 \end{matrix}]

$\mathsf{X}_\omega=\begin{bmatrix}X \\ \omega I\end{bmatrix} \quad , \quad \mathsf{Y}=\begin{bmatrix}Y \\ 0 \end{bmatrix}$

Bu aşırı belirlenmiş durumda, çözüm hala sahte ters ancak sahte ters ters değiştirilir ve sonuçta * Yeni "tekillik spektrumu" matrisinin (ters) köşegen olduğu (* biraz yer hesaplaması bu kısa olması bakımından ihmal edilmiştir tasarruf sağlamaktadır. Bu maruz benzer burada için durumda. ** burada girdileri vektörü, tüm işlemlerin giriş açısından yapıldığı vektörü cinsinden ifade edilir .)

B_{ω} = X^{+} Y

$B_\omega = \mathsf{X}^+\mathsf{Y}$

B_{ω} = (V_{0} S_{ω}^{- 2} U^{T}) Y

$B_\omega = \left(V_0S_\omega^{-2}U^T\right) Y$

σ_{ω}^{2} = \frac{σ_{0}^{2} + ω^{2}}{σ_{0}}

$\sigma_\omega^2 = \frac{\sigma_0^2+\omega^2}{\sigma_0}$

p \leq n

$p\leq n$

σ_{ω}

$\sigma_\omega$

σ_{0}

$\sigma_0$

Şimdi bu problemde resmen olarak bir "temel çözüm" kurtarabiliriz, ancak bu artık gerçek bir çözüm değildir.

X_{ω} = Y B_{ω}^{+}

$X_\omega=YB_\omega^+$

Bununla birlikte, benzerlik, bu "çözümün" yukarıda verilen tekil değerlerle olan SVD sahip olduğunu .

X_{ω} = U S_{ω}^{2} V_{0}^{T}

$X_\omega=US_\omega^2V_0^T$

σ_{ω}^{2}

$\sigma_\omega^2$

Böylece istenen tekil değerleri ile geri kazanılabilir tekil değerler ve normalleştirme parametresi ile ilişkilendiren ikinci dereceden bir denklem türetebiliriz . Çözüm $\sigma_0$ $\sigma_\omega^2$ $\omega$

σ_{0} = \bar{σ} \pm Δ σ, \bar{σ} = \frac{1}{2} σ_{ω}^{2}, Δ σ = \sqrt{(\bar{σ} + ω) (\bar{σ} - ω)}

$\sigma_0=\bar{\sigma} \pm \Delta\sigma \quad , \quad \bar{\sigma} = \tfrac{1}{2}\sigma_\omega^2 \quad , \quad \Delta\sigma = \sqrt{\left(\bar{\sigma}+\omega\right)\left(\bar{\sigma}-\omega\right)}$

Aşağıdaki Matlab demosu ( Octave üzerinden çevrimiçi olarak test edilmiştir ), bu çözüm yönteminin teoride olduğu gibi pratikte de işe yaradığını göstermektedir. Son satır tüm tekil değerlerinin rekonstrüksiyonunda olduğunu gösterir , ancak hangi kökün alınacağını tam olarak anlamadım ( = vs. ). İçin her zaman olacaktır kökü. Bu genellikle "küçük" için , "büyük" için kök devralmış gibi görünmektedir. (Aşağıdaki demo şu anda "büyük" vaka olarak ayarlanmış.) $X$ $\bar{\sigma}\pm\Delta\sigma$ sgn $+$ $-$ $\omega=0$ $+$ $\omega$ $\omega$ $-$

% Matlab demo of "Reverse Ridge Regression"
n = 3; p = 5; q = 8; w = 1*sqrt(1e+1); sgn = -1;
Y = rand(n,q); X = rand(n,p);
I = eye(p); Z = zeros(p,q);
err = @(a,b)norm(a(:)-b(:),Inf);

B = pinv([X;w*I])*[Y;Z];
Xhat0 = Y*pinv(B);
dBres0 = err( pinv([Xhat0;w*I])*[Y;Z] , B )

[Uw,Sw2,Vw0] = svd(Xhat0, 'econ');

sw2 = diag(Sw2); s0mid = sw2/2;
ds0 = sqrt(max( 0 , s0mid.^2 - w^2 ));
s0 = s0mid + sgn * ds0;
Xhat = Uw*diag(s0)*Vw0';

dBres = err( pinv([Xhat;w*I])*[Y;Z] , B )
dXerr = err( Xhat , X )
sigX = svd(X)', sigHat = [s0mid+ds0,s0mid-ds0]' % all there, but which sign?

Ters problemler genellikle kötü olduğu ve analitik çözümler çok kırılgan olabileceğinden, bu çözümün ne kadar sağlam olduğunu söyleyemem . Bununla birlikte, Gauss gürültüsü ile kirleten üstünkörü deneyler (yani tam rütbe karşı düşük rütbe ), yöntemin makul şekilde iyi davrandığını göstermektedir. $B$ $p$ $n$

Problem 2'ye gelince (yani bilinmiyor), yukarıda üzerinde en azından bir üst sınır verilmiştir . İkinci dereceden ayrımcıların negatif olmaması için $\omega$ $\omega$

ω \leq ω_{max} = {\bar{σ}}_{n} = min [\frac{1}{2} σ_{ω}^{2}]

$\omega \leq \omega_{\max} = \bar{\sigma}_n = \min[\tfrac{1}{2}\sigma_\omega^2]$

İkinci dereceden kök işareti belirsizliği için, aşağıdaki kod snippet'i, işaretten bağımsız olarak, dan farklı olsa bile , herhangi bir ın aynı ileri sırt çözümünü gösterir . $\hat{X}$ $B$ $\sigma_0$ $\mathrm{SVD}[X]$

Xrnd=Uw*diag(s0mid+sign(randn(n,1)).*ds0)*Vw0'; % random signs
dBrnd=err(pinv([Xrnd;w*I])*[Y;Z],B) % B is always consistent ...
dXrnd=err(Xrnd,X) % ... even when X is not

— GeoMatt22
kaynak

11. Bu soruyu cevaplamak için gösterdiğiniz tüm çaba ve yaptığımız tüm tartışmalar için çok teşekkürler. Bu sorumu tamamen yanıtlıyor gibi görünüyor. Bu durumda cevabınızı kabul etmenin yeterli olmadığını hissettim; bu, şu anda bu cevabın sahip olduğu ikiden fazla oyu hak ediyor. Şerefe.

— amip diyor ki Reinstate Monica

@amoeba teşekkürler! Yardımcı oldu sevindim. Bağlantının size uygun olup olmadığını ve / veya kullanmak için daha iyi bir yanıt olup olmadığını soran cevap üzerine bir yorum göndereceğim. (SVD tartışmasını

p \leq n

$p\leq n$

X

$X$

— şartlı

@ GeoMatt22 orijinal soru hakkındaki yorumumun kullanılmasının pinviyi bir şey olmadığını söylüyor , katılıyor musunuz?

— Haitao Du

@ hxd1011 Genelde (neredeyse) hiçbir zaman matrisi açıkça sayısal olarak ters çevirmek istemezsiniz ve bu da yalancı ters için geçerlidir. Burada kullanmamın iki nedeni 1) matematiksel denklemler + amoeba'nın demo koduyla tutarlılık ve 2) yetersiz tespit edilmiş sistemler için varsayılan Matlab "eğik çizgi" çözümleri pinvlerden farklı olabilir . Kodumdaki hemen hemen tüm vakalar, genellikle tercih edilecek olan uygun \ veya / komutları ile değiştirilebilir. (Bunlar Matlab'ın en etkili doğrudan

— çözücüye

@ hxd1011, önceki yorumumun 2. noktasında , orijinal soru hakkındaki yorumunuzdaki bağlantıdan açıklığa kavuşmak için : "A sıralaması A'daki sütun sayısından daha azsa, x = A \ B mutlaka minimum değildir "Hesaplamalı olarak daha pahalı olan x = pinv (A) * B, minimum norm en küçük kareler çözümünü hesaplar."

— GeoMatt22