SVD'nin ardındaki sezgi nedir?

Tekil değer ayrışımı (SVD) hakkında okudum. Neredeyse tüm ders kitaplarında, verilen spesifikasyon ile matrisi üç matrise dönüştürdüğü belirtilmektedir.

Fakat matrisi böylesi bir biçimde bölmenin ardındaki sezgi nedir? PCA ve boyutsallığı azaltmaya yönelik diğer algoritmalar, algoritmanın güzel görselleştirme özelliğine sahip olduğu anlamında sezgiseldir ancak SVD'de durum böyle değildir.

— SHASHANK GUPTA
kaynak

Özdeğer özvektör ayrışımının sezgisinden başlamak isteyebilirsiniz, çünkü SVD sadece kare olanlar yerine her tür matris için bir uzantısıdır.

— JohnK

İnternette birçok not var ve burada SVD ve çalışmaları hakkında özgeçmişe cevaplar var.

— Vladislavs Dovgalecs

SVD, bir sıkıştırma / öğrenme algoritması olarak düşünülebilir. Doğrusal bir kompresör dekompresörüdür. Bir matris M, SVD'nin çarpımı ile temsil edilebilir. S kompresör V ise ne kadar hata istediğinizi belirler (kayıplı sıkıştırma) ve D dekompresördür. Eğer V'nin tüm çapraz değerlerini tutarsanız kayıpsız bir kompresörünüz olur. Küçük tekil değerleri atmaya başlarsanız (bunları sıfırlarsanız), başlangıç matrisini tam olarak yeniden oluşturamazsınız ancak yine de yakın olacaktır. Burada kapanış terimi Frobenius normuyla ölçülür.

— Cagdas Ozgenc

@ Bunu yaparsanız, lütfen "S" "V" ve "D" aldığınızı dikkatlice matematiksel olarak tanımlayın. Baş harflerin daha önce notasyona aşırı yüklendiğini görmedim (örneğin içinde tekil değerler var mı?). Muhtemelen bir karışıklık kaynağı gibi görünüyor,

— Glen_b

PCA'yı SVD ile nasıl tahmin edebileceğinizi biliyor musunuz? Öyleyse, SVD anlayışınızda neden eksik bir şey hissettiğinizi açıklayabilir misiniz? Bkz bu

— Aksakal

Yanıtlar:

matrisinin (gerçek, ) ; buradaki , , , diyagonal ve , . Matrislerin sütun açısından ve yazabiliriz . Bu, -rank-1 matrislerinin toplamı olarak yazıldığını gösterir . Sıra-1 matrisi neye benziyor? Bakalım: $X$ $n\times p$

X = U D V^{T}

$X = U D V^T$

U

$U$

n \times p

$n\times p$

D

$D$

p \times p

$p\times p$

V^{T}

$V^T$

p \times p

$p\times p$

U

$U$

V

$V$

X = \sum_{i = 1}^{p} d_{i} u_{i} v_{i}^{T}

$X=\sum_{i=1}^p d_i u_i v_i^T$

X

$X$

p

$p$

(\begin{matrix} 1 \\ 2 \\ 3 \end{matrix}) (\begin{matrix} 4 & 5 & 6 \end{matrix}) = (\begin{matrix} 4 & 5 & 6 \\ 8 & 10 & 12 \\ 12 & 15 & 18 \end{matrix})

$\begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix} \begin{pmatrix} 4 & 5 & 6 \end{pmatrix} = \begin{pmatrix} 4 & 5 & 6 \\ 8 & 10 & 12 \\ 12 & 15 & 18 \end{pmatrix}$ Satırlar orantılı ve sütunlar orantılıdır.

Şimdi, siyah-beyaz bir görüntünün gri tonlama değerlerini içerdiğini, matristeki her girişin bir pikseli temsil ettiğini düşünün . Örneğin bir maymunun aşağıdaki resmi: $X$

Sonra bu görüntüyü R içine okuyun ve elde edilen yapının matris kısmını, belki de kütüphaneyi kullanarak alın pixmap.

Sonuçların nasıl yeniden üretileceğine ilişkin adım adım bir kılavuz istiyorsanız, kodu burada bulabilirsiniz .

SVD'yi hesaplayın:

baboon.svd  <-  svd(bab) # May take some time

Bunun hakkında nasıl düşünebiliriz? Her biri sadece dikey ve yatay yapıyı gösteren basit resim toplamı olarak gösterilen babun görüntüsünü elde ediyoruz , yani dikey ve yatay çizgilerin bir görüntüsü! Böylece, bebeğin SVD'si, maymun görüntüsünü , her biri sadece yatay / dikey çizgiler gösteren basit görüntüden oluşan bir üst üste bindirme olarak temsil eder . Görüntünün düşük rekonstrüksiyonunu ve bileşenli olarak hesaplayalım : $512 \times 512$ $512$ $512$ $1$ $20$

baboon.1  <-  sweep(baboon.svd$u[,1,drop=FALSE],2,baboon.svd$d[1],"*") %*%
                   t(baboon.svd$v[,1,drop=FALSE])

baboon.20 <-  sweep(baboon.svd$u[,1:20,drop=FALSE],2,baboon.svd$d[1:20],"*") %*%
                   t(baboon.svd$v[,1:20,drop=FALSE])

aşağıdaki iki resimde sonuçlandı:

Solda, rank-1 görüntüsünde dikey / yatay çizgileri kolayca görebiliriz.

Nihayet "artık resme" bakalım, en düşük tekil değerlere sahip aşamalı görüntüden yeniden oluşturulmuş resim (yukarıda gösterildiği gibi, kod gösterilmemiştir) . İşte burada: $20$

Bu oldukça ilginç: Orijinal görüntünün dikey / yatay çizgilerin, çoğunlukla çapraz burun kıllarının, bazı dokuların ve gözlerin süperpozisyonu olarak temsil edilmesi zor olan kısımlarını görüyoruz!

— kjetil b halvorsen
kaynak

Bence düşük seviyeli rekonstrüksiyon demek istedin, düşük menzili değil. Boşver. Bu çok iyi bir örnek (+1). Bu yüzden lineer bir kompresör dekompresörüdür. Görüntü çizgilerle yaklaşıklanır. Aslında, doğrusal aktivasyon işlevli bir sinir ağına sahip benzer bir otomatik kodlayıcıyı gerçekleştirirseniz, aslında SVD'den biraz daha güçlü kılan sadece dikey ve yatay çizgilerden değil, herhangi bir eğimli çizgilere de izin verdiğini göreceksiniz.

— Cagdas Ozgenc

@ Kjetil-b-halvorsen olmamalı SVD for a matris in sonucu olmak , olmak ve olan ? Yanlış mı yazdınız?

X = U Σ V^{*}

$X = U \Sigma V^*$

n \times p

$n \times p$

X

$X$

U

$U$

n \times n

$n \times n$

Σ

$\Sigma$

n \times p

$n \times p$

V

$V$

p \times p

$p \times p$

— Martin Krämer,

Diğer bazı örnekler için bkz. Math.stackexchange.com/questions/92171/…

— kjetil b halvorsen

@ kjetil-b-halvorsen Başvuruyu belirtmek için PCA kullanmış olsaydım, tanımlamanın nasıl değişeceğini bilmek isterim. Burada sorumu

— Dushyant Kumar

@ KovboyTrader ilginç gözlem. Makine öğrenimi / sinir ağı anlayışım oldukça sınırlı. Öyleyse, birinin tek bir gürültülü görüntüsü ve üzerinde çalışacak başka bir şeyi yoksa, sinir ağının nasıl çalışacağını anlayamıyorum.

— Dushyant Kumar

Let gerçek bir olmak matrisi. Basitlik için bu varsayalım . Bu hangi yönde sormak doğaldır gelmez çoğu etkisi (veya en explosiveness veya en fazla yükseltme gücüne) sahip. Cevap Doğal bir takip sorusu, sonra , için en patlayıcı yön nedir? ? Cevap $A$ $m \times n$ $m \geq n$ $v$ $A$

\begin{aligned} (1) & v_{1} = & \arg max_{v \in R^{n}} ‖ A v ‖_{2} \\ subject to ‖ v ‖_{2} = 1. \end{aligned}

$\begin{align} \tag{1}v_1 = \,\,& \arg \max_{v \in \mathbb R^n} \quad \| A v \|_2 \\ & \text{subject to } \, \|v\|_2 = 1. \end{align}$

v_{1}

$v_1$

A

$A$

\begin{aligned} v_{2} = & \arg max_{v \in R^{n}} ‖ A v ‖_{2} \\ subject to ⟨ v_{1}, v ⟩ = 0, \\ ‖ v ‖_{2} = 1. \end{aligned}

$\begin{align} v_2 = \,\,& \arg \max_{v \in \mathbb R^n} \quad \| A v \|_2 \\ & \text{subject to } \,\langle v_1, v \rangle = 0, \\ & \qquad \qquad \, \, \, \, \|v\|_2 = 1. \end{align}$ böyle devam edecek olursak, bir ortonormal baz elde ait . bu özel temeli bize bir anlamda anlamak için en önemli olan yönleri anlatır .

v_{1}, \dots, v_{n}

$v_1, \ldots, v_n$

R^{n}

$\mathbb R^n$

R^{n}

$\mathbb R^n$

A

$A$

Let (şimdiye patlayıcı gücü quantifies yönde ). ki birim vektörleri tanımlanmıştır ki, Denklemler (2) matris gösterimi kullanılarak öz eksprese edilebilir olan matris inci sütun , olduğu , bunun matriks th sütunu ve $\sigma_i = \|A v_i \|_2$ $\sigma_i$ $A$ $v_i$ $u_i$

\begin{matrix} (2) & A v_{i} = σ_{i} u_{i} for i = 1, \dots, n . \end{matrix}

$\tag{2} A v_i = \sigma_i u_i \quad \text{for } i = 1, \ldots, n.$

\begin{matrix} (3) & A V = U Σ, \end{matrix}

$\tag{3} A V = U \Sigma,$

V

$V$

n \times n

$n \times n$

i

$i$

v_{i}

$v_i$

U

$U$

m \times n

$m \times n$

i

$i$

u_{i}

$u_i$

Σ

$\Sigma$ olan olan diyagonal matris inci diyagonal giriştir . matrisi ortogonaldir, bu yüzden elde etmek için (3) 'ün her iki tarafını ile çarpabiliriz Şimdi SVD'sini neredeyse sıfır çabayla türetmiş gözüküyoruz . Şu ana kadarki adımların hiçbiri zor değildi. Bununla birlikte, resmin önemli bir parçası eksik - ortogonal olduğunu henüz bilmiyoruz .

n \times n

$n \times n$

i

$i$

σ_{i}

$\sigma_i$

V

$V$

V^{T}

$V^T$

A = U Σ V^{T} .

$A = U \Sigma V^T.$

A

$A$

U

$U$

O çıkıyor: İşte can alıcı gerçeği, eksik parçası olan ortogonal olan : Ben iddia bu doğru olmasaydı, o zaman problem için optimal olmaz (1). Aslında, eğer (4) tatmin , yönünde biraz geliştirmek mümkün . $A v_1$ $A v_2$

\begin{matrix} (4) & ⟨ A v_{1}, A v_{2} ⟩ = 0. \end{matrix}

$\tag{4} \langle A v_1, A v_2 \rangle = 0.$ $v_1$

v_{1}

$v_1$

v_{2}

$v_2$

Diyelim ki (bir çelişki için) (4) 'ün karşılanmadı. Eğer ortogonal yönde hafifçe bozulur , norm değişmez (ya da en azından, norm değişim ihmal edilebilir). Dünyanın yüzeyinde yürürken, dünyanın merkezinden uzaklığım değişmiyor. Ancak, yönde tedirgin , vektör olarak bozulur ortogonal olmayan doğrultuda ve böylece norm değişim olduğu göz ardı edilemeyecek . normu $v_1$ $v_2$ $v_1$ $v_1$ $v_1$ $v_2$ $A v_1$ $A v_2$ $A v_1$ $A v_1$ ihmal edilemez bir miktarda artırılabilir. Bu, bir çelişki olan problem için (1) optimal olmadığı anlamına gelir . Bu tartışmayı seviyorum çünkü: 1) sezgi çok açık; 2) sezgi doğrudan sıkı bir kanıt haline dönüştürülebilir. $v_1$

Benzeri bir argüman, göstermektedir hem dik olan ve benzeri, ve. vektörleri çift ortogonaldir. Bunun anlamı, birim vektörlerin ikili olarak ortogonal olarak seçilebileceği anlamına gelir; bu, yukarıdaki matrisinin ortogonal bir matris olduğu anlamına gelir . Bu, SVD'yi keşfetmemizi tamamlar. $A v_3$ $A v_1$ $A v_2$ $A v_1, \ldots, A v_n$ $u_1, \ldots, u_n$ $U$

Yukarıdaki sezgisel argümanı titiz bir , yönünde tedirgin , tedirgin vektör gerçek bir birim vektör olmadığı . (Normu .) Sıkı bir kanıt elde etmek için, Vektör gerçekten bir birim vektörüdür. Ancak (4) memnun kalmazsanız, kolayca gösterebileceğiniz gibi, o zaman yeterince küçük değerleri için ( işaretinin olduğu varsayılarak) $v_1$ $v_2$

{\tilde{v}}_{1} = v_{1} + ϵ v_{2}

$\tilde v_1 = v_1 + \epsilon v_2$

\sqrt{1 + ϵ^{2}}

$\sqrt{1 + \epsilon^2}$

{\bar{v}}_{1} (ϵ) = \sqrt{1 - ϵ^{2}} v_{1} + ϵ v_{2} .

$\bar v_1(\epsilon) = \sqrt{1 - \epsilon^2} v_1 + \epsilon v_2.$

{\bar{v}}_{1} (ϵ)

$\bar v_1(\epsilon)$

ϵ

$\epsilon$

f (ϵ) = ‖ A {\bar{v}}_{1} (ϵ) ‖_{2}^{2} > ‖ A v_{1} ‖_{2}^{2}

$f(\epsilon) = \| A \bar v_1(\epsilon) \|_2^2 > \| A v_1 \|_2^2$

ϵ

$\epsilon$ doğru seçilir). Bunu göstermek için, sadece olduğunu kontrol edin . Bu, bir çelişki olan problem için (1) optimal olmadığı anlamına gelir .

f^{'} (0) \neq 0

$f'(0) \neq 0$

v_{1}

$v_1$

(Bu arada, Qiaochu Yuan'ın burada SVD hakkındaki açıklamasını okumanızı öneririm . Özellikle yukarıda tartışılan "Key lemma # 1" e bir göz atın. Qiaochu'nun dediği gibi, anahtar lemma # 1 teknik kalptir tekil değer ayrışımı ".)

— littleO
kaynak

Dostum günün bir saatini alın ve bu dersi izleyin: https://www.youtube.com/watch?v=EokL7E6o1AE

Bu adam dümdüz ileri, hiçbirini atlamamak önemlidir, çünkü sonuçta hepsi bir araya gelir. Başlangıçta biraz yavaş görünse bile, yaptığı kritik bir noktayı tespit etmeye çalışıyor!

Size, herkesin yaptığı üç matrisi vermek yerine, sizin için özetleyeceğim (çünkü diğer açıklamaları okuduğumda kafam karıştı. Bu matrisler nereden geliyor ve neden böyle ayarladık? Ders onu çiviledi! Her matris (şimdiye kadar sonsuzluk tarihinde), aynı boyutlara sahip bir temel matristen yapılabilir, daha sonra döndürün ve esnetin (bu, lineer cebirin temel teoremidir). Etrafa atılan bu üç matrisin her biri bir başlangıç matrisini (U), bir ölçeklendirme matrisini (sigma) ve bir dönme matrisini (V) temsil eder.

Ölçekleme matrisi hangi dönüş vektörlerinin baskın olduğunu gösterir, buna tekil değerler denir. Ayrışma U, sigma ve V için çözüyor.

— Tim Johnsen
kaynak