Tikhonov normalizasyonu Ridge Regression ile aynı mı?

Tikhonov düzenlenmesi ve sırt regresyonu genellikle aynımış gibi kullanılan terimlerdir. Aradaki farkın tam olarak ne olduğunu belirtmek mümkün müdür?

Tikhonov regularizarization ridge regresyonundan daha büyük bir set. İşte tam olarak nasıl farklı olduklarını hecelemek için girişimlerim.

Bilinen bir matris $A$ ve vektörü için $b$, şöyle bir vektör bulmak istediğimizi varsayalım $\mathbf{x}$:

$A\mathbf{x}=\mathbf{b}$ .

Standart yaklaşım sıradan en küçük kareler doğrusal regresyondur. Bununla birlikte, eğer hiçbir $x$ denklemi karşılamazsa veya birden fazla $x$ - bu çözüm benzersiz değildir - sorunun kötü olduğu söylenir. Sıradan en küçük kareler, şu şekilde kompakt olarak yazılabilecek kare artıklarının toplamını en aza indirmeyi amaçlar:

$\|A\mathbf{x}-\mathbf{b}\|^2$

nerede $\left \| \cdot \right \|$ öklidyen norm. İle gösterilen bir çözüm, gösterim matriste x , aşağıdaki eşitlikle verilir:$\hat{x}$

$\hat{x} = (A^{T}A)^{-1}A^{T}\mathbf{b}$

Tikhonov Düzenlemesi en aza indirdi

$\|A\mathbf{x}-\mathbf{b}\|^2+ \|\Gamma \mathbf{x}\|^2$

uygun seçilmiş bazı Tikhonov matrisi için, . İle gösterilen bir açık matris form çözüm, x , aşağıdaki eşitlikle verilir:$\Gamma$$\hat{x}$

$\hat{x} = (A^{T}A+ \Gamma^{T} \Gamma )^{-1}A^{T}{b}$

Düzenlemenin etkisi matris ölçeği ile değişebilir . İçin y = 0 , bu (A kaydıyla unregularized en küçük kareler çözeltiye azaltan ^T A) ^-1 bulunmaktadır.$\Gamma$$\Gamma = 0$

Tipik olarak, sırt regresyonu için , Tikhonov normalizasyonundan iki çıkış açıklanmaktadır. İlk olarak, Tikhonov matrisi, kimlik matrisinin bir katıyla değiştirildi

,$\Gamma= \alpha I$

Daha küçük norm, yani çözeltilerin tercih veren norm. Daha sonra Γ T Γ olur α 2 ı giden$L_2$$\Gamma^{T} \Gamma$$\alpha^2 I$

$\hat{x} = (A^{T}A+ \alpha^2 I )^{-1}A^{T}{b}$

Son olarak, sırt regresyonu için, tipik olarak varsayılmaktadır değişkenler böylece ölçeklenir X , T x bir bağıntı matrisinin şekline sahiptir. ve X, T B arasındaki korelasyon vektörü X değişkenleri ve b yol açan$A$$X^{T}X$$X^{T}b$$x$$b$

$\hat{x} = (X^{T}X+ \alpha^2 I )^{-1}X^{T}{b}$

Bu formda, Lagrange çarpanı genellikle k , λ veya başka bir sembol ile değiştirildiğini ancak λ ≥ 0 özelliğini koruduğunu unutmayın.$\alpha^2$$k$$\lambda$$\lambda\geq0$

Bu cevabı formüle ederken, Wikipedia’dan ve Ridge’in transfer fonksiyonu ağırlıklarını tahmin etmekten serbestçe borçlanmayı kabul ediyorum.

Carl, Tikhonov düzenlenmesi ile sırt regresyonu arasındaki matematiksel farklılıkları güzel bir şekilde açıklayan kapsamlı bir cevap verdi. Buradaki tarihsel tartışmadan ilham alarak , daha genel Tikhonov çerçevesinin ne kadar faydalı olabileceğini gösteren kısa bir örnek eklemenin faydalı olabileceğini düşündüm.

İlk önce bağlam hakkında kısa bir not. Ridge regresyonu istatistiklerde ortaya çıkmıştır ve istatistikleme ve makine öğreniminde düzenleme artık yaygınlaşırken, Tikhonov'un yaklaşımı başlangıçta model tabanlı veri asimilasyonunda (özellikle jeofizikte ) ortaya çıkan ters problemlerle motive olmuştur . Aşağıdaki sadeleştirilmiş örnek bu kategoridedir ( paleoiklim rekonstrüksiyonları için daha karmaşık versiyonlar kullanılmaktadır ).

---

Günümüzde u [ x , t = T ] günlük ölçümlerine dayanarak, sıcaklıklarını yeniden yapılandırmak istediğimizi düşünün . Basitleştirilmiş modelimizde, sıcaklığın 1D'deki u t = u x x ısı denklemine göre evrimsel sınır koşullarında u [ x + L , t ] = u [ x , t ] A basit (açık) olarak arttığını varsayacağız.$u[x,t=0]$$u[x,t=T]$

$$u_t = u_{xx}$$ $$u[x+L,t] = u[x,t]$$ sonlu fark farklı bir model yaklaşımı açar Matematiksel olarak, evrim matrisi A Elimizdeki bu yüzden, ters çevrilebilir olduğu u t = A - 1 u t + 1 Ancaksayısal olarakaralık süresi ise, zorluklar ortaya çıkacaktırTçok uzun. $$\frac{\Delta\mathbf{u}}{\Delta{t}} = \frac{\mathbf{Lu}}{\Delta{x^2}} \implies \mathbf{u}_{t+1} = \mathbf{Au}_t$$ $\mathbf{A}$ $$\mathbf{u}_t = \mathbf{A^{-1}u}_{t+1}$$ $T$

Tikhonov regülarizasyonu çözerek bu sorunu çözebilir

$$\begin{align} \mathbf{Au}_t &\approx \mathbf{u}_{t+1} \\ \omega\mathbf{Lu}_t &\approx \mathbf{0} \end{align}$$ $\omega^2\ll{1}$$u_{xx}$

Aşağıda sonuçların bir karşılaştırması var:

$u_0$$u_\mathsf{fwd}$$u_0$$u_\mathsf{inv}$$u_\mathsf{reg}$ is able to recover $u_0$ with quite good accuracy.

Note that in this example, ridge regression would always push our solution towards an "ice age" (i.e. uniform zero temperatures). Tikhonov regression allows us a more flexible physically-based prior constraint: Here our penalty essentially says the reconstruction $\mathbf{u}$ should be only slowly evolving, i.e. $u_t\approx{0}$.

---

Matlab code for the example is below (can be run online here).

% Tikhonov Regularization Example: Inverse Heat Equation
n=15; t=2e1; w=1e-2; % grid size, # time steps, regularization
L=toeplitz(sparse([-2,1,zeros(1,n-3),1]/2)); % laplacian (periodic BCs)
A=(speye(n)+L)^t; % forward operator (diffusion)
x=(0:n-1)'; u0=sin(2*pi*x/n); % initial condition (periodic & smooth)
ufwd=A*u0; % forward model
uinv=A\ufwd; % inverse model
ureg=[A;w*L]\[ufwd;zeros(n,1)]; % regularized inverse
plot(x,u0,'k.-',x,ufwd,'k:',x,uinv,'r.:',x,ureg,'ro');
set(legend('u_0','u_{fwd}','u_{inv}','u_{reg}'),'box','off');