PCA optimizasyonu dışbükey midir?

Temel Bileşen Analizi (PCA) objektif fonksiyonu L2 norm yöntemi hatasını minimize edilir (bölüm 2.12 bakınız burada başka görüş projeksiyonda varyansı maksimize etmeye çalışıyor Biz de burada mükemmel bir yazı var.:. PCA nesnel işlevi nedir ? ).

Benim sorum şu ki PCA optimizasyonu dışbükey mi? ( Burada bazı tartışmalar buldum , ancak birinin burada CV ile ilgili güzel bir kanıt sunabilmesini diliyorum)

— Haitao Du
kaynak

Hayır. Dışbükey bir işlevi en üst düzeye çıkarıyorsunuz (kısıtlamalar altında).

— user603

Bence "PCA optimizasyonu" ile ne demek istediğiniz konusunda spesifik olmanız gerekiyor. Standart formülasyonlardan biri

tabi

değerinin maksimize edilmesidir . Sorun şu ki, dışbükeylik mantıklı değil:

alanı bir Öklid alanı değil, bir küredir.

x^{'} A x

$x^\prime\mathbb{A}x$

x^{'} x = 1

$x^\prime x=1$

x^{'} x = 1

$x^\prime x=1$

— whuber

@whuber Yorumunuz için teşekkürler, sınırlı bilgi nedeniyle soruyu netleştiremeyebiliriz. Bazı cevapları soruyu aynı anda açıklamama yardımcı olabilir.

— Haitao Du

Sizi tanıdığınız herhangi bir "dışbükey" tanımına yönlendiririm. Hepsi, diğer noktalar arasında "yatan" bir fonksiyonun alanında bir nokta kavramını içermiyor mu? Hatırlamakta fayda var, çünkü size bir işlevin etki alanının geometrisini ve işlev değerlerinin herhangi bir cebirsel veya analitik özelliğini göz önünde bulundurmanızı hatırlatır. Bunun ışığında, bu varyans-maksimize formülasyon, hafif alan konveks hale getirmek için modifiye edilebilir bana oluşur: sadece ihtiyaç

yerine

. Çözüm aynı - ve cevap oldukça netleşiyor.

x^{'} x \leq 1

$x^\prime x\le1$

x^{'} x = 1

$x^\prime x=1$

— whuber

Hayır, PCA'nın genel formülasyonları dışbükey problem değildir . Ancak dışbükey bir optimizasyon problemine dönüştürülebilirler.

Bunun içgörü ve eğlencesi, sadece cevabı almaktan ziyade dönüşümlerin sırasını takip ediyor ve görselleştiriyor: hedefte değil, yolculukta yatıyor. Bu yolculuktaki başlıca adımlar

Objektif fonksiyon için basit bir ifade elde edin.
Konveks olmayan alan adını olan alan adına genişletin.
Dışbükey olmayan hedefi, optimal değerlerine ulaştığı noktaları açıkça değiştirmeyecek şekilde değiştirin.

Yakından izlemeye devam ederseniz, SVD ve Lagrange çarpanlarının gizlendiğini görebilirsiniz - ancak bunlar sadece doğal bir ilgi için bir taraf gösterisi, ve daha fazla yorum yapmayacağım.

PCA'nın standart varyans maksimize edici formülasyonu (veya en azından önemli adımı)

\begin{matrix} (*) & Maximize f (x) = x^{'} A x subject to x^{'} x = 1 \end{matrix}

$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x=1\tag{*}$

buradaki matrisi , verilerden oluşturulan simetrik, pozitif-semidefinit bir matristir (genellikle kareler ve ürün matrisi toplamı, kovaryans matrisi veya korelasyon matrisi). $n\times n$ $\mathbb A$

(Eşdeğer olarak, kısıtsız nesneyi en üst düzeye çıkarmaya çalışabiliriz . Bu sadece daha nazik bir ifade değil, artık ikinci dereceden bir işlev değil - özel durumların grafiğinin hızlı bir şekilde dışbükey bir işlev olmadığını gösterecektir. Genellikle bu işlev, yeniden ölçeklendirmeler altında değişmez olduğunu gözlemler ve daha sonra kısıtlanmış formülasyona indirir .) $x^\prime \mathbb{A} x / x^\prime x$ $x\to \lambda x$ $(*)$

Herhangi bir optimizasyon problemi soyut olarak şu şekilde formüle edilebilir:

işlevini olabildiğince büyük yapan en az bir bulun . $x\in\mathcal{X}$ $f:\mathcal{X}\to\mathbb{R}$

Bir optimizasyon sorununun iki ayrı özelliğe sahip olması durumunda dışbükey olduğunu hatırlayın :

Alan dışbükeydir. $\mathcal{X}\subset\mathbb{R}^n$ Bu birçok şekilde formüle edilebilir. Birincisi, ve ve , . Geometrik olarak: Bir çizgi parçasının iki uç noktası olduğunda, tüm parça . $x\in\mathcal{X}$ $y\in\mathcal{X}$ $0 \le \lambda \le 1$ $\lambda x + (1-\lambda)y\in\mathcal{X}$ $\mathcal X$ $\mathcal X$
Fonksiyon dışbükeydir. $f$ Bu aynı zamanda birçok şekilde formüle edilebilir. Birincisi, ve ve , ( ihtiyacımız vardı $x\in\mathcal{X}$ $y\in\mathcal{X}$ $0 \le \lambda \le 1$
$f (λ x + (1 - λ) y) \geq λ f (x) + (1 - λ) f (y) .$ $f(\lambda x + (1-\lambda)y) \ge \lambda f(x) + (1-\lambda) f(y).$ $\mathcal X$ herhangi bir anlam için bu durum için sırayla konveks olmak üzere) Geometrik. zaman herhangi bir çizgi parçası olan , bir grafik bu segment ile sınırlı olarak () yukarıdaki bağlantı ya da bölümünün üzerinde yer alır ve içinde . $\bar{xy}$ $\mathcal X$ $f$ $(x,f(x))$ $(y,f(y))$ $\mathbb{R}^{n+1}$
Dışbükey fonksiyon prototip zaman lokal olarak pozitif olmayan gelen katsayısı ile her paraboliktir: herhangi bir hat kesimi üzerinde bu şekilde eksprese edilebilir ile $y\to a y^2 + b y + c$ $a \le 0.$

ile ilgili bir zorluk , birim küresi olmasıdır , ki bu kesinlikle dışbükey değildir. $(*)$ $\mathcal X$ $S^{n-1}\subset\mathbb{R}^n$ Ancak, daha küçük vektörler ekleyerek bu sorunu değiştirebiliriz. Ölçeklendirip zaman olmasıdır bir faktör tarafından , ile çarpılır . Zaman , biz ölçeklendirilebilir kadar birim uzunluğuna ile çarparak $x$ $\lambda$ $f$ $\lambda^2$ $0 \lt x^\prime x \lt 1$ $x$ , böyleceartarancak birim topu içerisinde kalır. Öyleyse kendimizi yeniden formüle edelimolarak $\lambda=1/\sqrt{x^\prime x} \gt 1$ $f$ $D^n = \{x\in\mathbb{R}^n\mid x^\prime x \le 1\}$ $(*)$

\begin{matrix} (**) & Üst Düzeye f (x) = x^{'} bir x tabi x^{'} x \leq 1 \end{matrix}

$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x\le1\tag{**}$

Etki alanı ve açıkça dışbükey, bu yüzden oradayız. grafiğinin dışbükeyliğini dikkate almaya devam etmektedir . $\mathcal{X}=D^n$ $f$

Problemi düşünmek için iyi bir yol - karşılık gelen hesaplamaları yapmak istemiyorsanız bile - Spektral Teorem açısındandır. $(**)$ Bu, bir dikgen dönüştürme vasıtasıyla söylüyor , aşağıdakilerden en az bir adet temel bulabilirsiniz ki burada , yani: diyagonaldir $\mathbb P$ $\mathbb{R}^n$ $\mathbb A$

bir = P^{'} Σ P

$\mathbb {A = P^\prime \Sigma P}$

nerede tüm çapraz kapatma girişlerini sıfırdır. Böyle bir seçimi, hakkında hiçbir şeyi değiştirmeyecek , ancak onu nasıl tanımladığınızı değiştirecek şekilde düşünülebilir : bakış açınızı döndürdüğünüzde, ( fonksiyon hiper yüzeylerinin eksenleri her zaman elipsoiddiler) koordinat eksenleriyle hizalandı. $\Sigma$ $\mathbb{P}$ $\mathbb A$ $x\to x^\prime \mathbb{A} x$

Yana pozitif yarı kesin olduğu, bütün diyagonal girişleri olmayan negatif olmalıdır. Eksenlere (sadece başka bir dikey dönüşümdür ve bu nedenle emilebilir ) olmasını sağlamak için izin $\mathbb A$ $\Sigma$ $\mathbb P$

σ_{1} \geq σ_{2} \geq \dots \geq σ_{n} \geq 0.

$\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_n \ge 0.$

Biz izin ise yeni koordinatlar olarak (gerektiren , fonksiyon) olduğu $x=\mathbb{P}^\prime y$ $x$ $y=\mathbb{P}x$ $f$

f (y) = y^{'} bir y = x^{'} P^{'} bir P x = x^{'} Σ x = σ_{1} x_{1}^{2} + σ_{2} x_{2}^{2} + \dots + σ_{n} x_{n}^{2} .

$f(y) = y^\prime \mathbb{A} y = x^\prime \mathbb{P^\prime A P} x = x^\prime \Sigma x = \sigma_1 x_1^2 + \sigma_2 x_2^2 + \cdots + \sigma_n x_n^2.$

Bu işlev kesinlikle dışbükey değildir ! Grafiği hiperparaboloidin bir parçası gibi görünüyor: iç kısmındaki her noktada , tüm negatif olmaması, onu aşağıdan ziyade yukarı doğru kıvırmasını sağlar . $\mathcal X$ $\sigma_i$

Ancak, biz açabilirsiniz bir çok yararlı tekniği ile bir dışbükey sorun haline. $(**)$ Burada en oluşacak bilerek , en sabit çıkarma izin den , en azından bir sınır noktaları için . Bu, optimize edildiği sınırdaki herhangi bir noktanın konumunu değiştirmeyecektir , çünkü sınırdaki tüm değerlerini aynı değerine düşürür . Bu, işlevin incelenmesini önerir $x^\prime x = 1$ $\sigma_1$ $f$ $\mathcal{X}$ $f$ $f$ $\sigma_1$

g (y) = f (y) - σ_{1} y^{'} y .

$g(y) = f(y) - \sigma_1 y^\prime y.$

Bu gerçekten sabit çıkarır den sınır noktalarında, ve iç noktalarda çıkarır küçük değerler. Bu, kıyasla iç kısmında yeni bir küresel maksimaya sahip olmamasını sağlayacaktır . $\sigma_1$ $f$ $g$ $f$ $\mathcal X$

ile yerine bu el çabukluğu ile neler olduğunu inceleyelim . Çünkü dik olan, . (Bu pratik olarak dikey bir dönüşümün tanımıdır.) Bu nedenle, koordinatları açısından yazılabilir $-\sigma_1$ $-\sigma_1 y^\prime y$ $\mathbb P$ $y^\prime y = x^\prime x$ $x$ $g$

g (y) = σ_{1} x_{1}^{2} + \dots + σ_{n} x_{n}^{2} - σ_{1} (x_{1}^{2} + \dots + x_{n}^{2}) = (σ_{2} - σ_{1}) x_{2}^{2} + \dots + (σ_{n} - σ_{1}) x_{n}^{2} .

$g(y) = \sigma_1 x_1 ^2 + \cdots + \sigma_n x_n^2 - \sigma_1(x_1^2 + \cdots + x_n^2) = (\sigma_2-\sigma_1)x_2^2 + \cdots + (\sigma_n - \sigma_1)x_n^2.$

Çünkü tüm ,katsayılarının her bir sıfır ya da negatiftir. Sonuç olarak, (a) dışbükeydir ve olduğunda(b) optimize edilir. ( daha sonra anlamına gelirve $\sigma_1 \ge \sigma_i$ $i$ $g$ $g$ $x_2=x_3=\cdots=x_n=0$ $x^\prime x=1$ $x_1=\pm 1$ , yani imzalamak için - ilk sütunu.) $y = \mathbb{P} (\pm 1,0,\ldots, 0)^\prime$ $\mathbb P$

Hadi mantığı yeniden özetleyelim. Çünkü sınır optimize edilir burada , çünkü değişmesidir sadece sabiti ile nolu sınır üzerinde, ve değerler, bile olan yakın değerlerine iç kısmında , maksimumları maksimumlarının ile aynı olmalıdır . $g$ $\partial D^n=S^{n-1}$ $y^\prime y = 1$ $f$ $g$ $\sigma_1$ $g$ $f$ $D^n$ $f$ $g$

— whuber
kaynak

+1 Çok hoş. İstediğinizi düşündüğüm bir formülü düzeltmek için düzenledim (ancak lütfen kontrol edin). Bunun dışında, ben cümle sınır değerleri nedeniyle, ilk başta kafa karıştırıcı olmak "Bu f optimize edildiği herhangi sınır değerlerini değiştirmeyeceği" bulundu yapmak sen çıkarırsınız: değişim

. Belki biraz yeniden formüle etmek mantıklıdır?

σ_{1}

$\sigma_1$

— amip diyor ki Reinstate Monica

@amoeba Her açıdan doğru; teşekkür ederim. Bu konunun tartışmasını güçlendirdim.

— whuber

(+1) Yanıtınızda, çoğu insanın içbükey bir işlev olarak kabul edeceği bir dışbükey işlev tanımlamışsınız gibi görünebilir (belki de dışbükey bir optimizasyon sorununun dışbükey bir etki alanı ve üzerinde maksimumun hesaplandığı bir içbükey işlevi olduğu (veya bir dışbükey bir, üzerinde işlev az hesaplanır))

— user795305

@amoeba Bu ince bir argüman. Bununla birlikte, bu yeni maxima - olanlar

--are sadece sınırda meydana bulundu. Karşı örneklerinizin dışında kalır. Dikkat çeken bir başka nokta, sonunda, yeni yerel (veya küresel) maksimimin

iç kısmında görünüp görünmediğini umursamadığımızdır , çünkü başlangıçta sadece sınırındaki yerel maksimumlarla ilgileniyoruz. Bu nedenle,

bu yerel sınır maksimumlarını hareket ettirmeyecek veya ortadan kaldırmayacak şekilde değiştirmekte özgürüz .

g

$g$

X

$\mathcal X$

f

$f$

— whuber

Evet katılıyorum. Ortaya çıkan

"dışbükey" ise ve sınırda maksimum değere sahipse,

içte nasıl değiştirildiği önemli değildir . Kişisel

sınırda maksimum seviyesine sahip olmaları oluyor ve bütün bu argüman çalışma yapar. Mantıklı.

f

$f$

g

$g$

g

$g$

— amip diyor ki Reinstate Monica

Hayır.

Derece matrisin PCA olarak formüle edilebilir $k$ $M$

$\hat{X} = \underset{rank(X) \leq k}{argmin} \| M - X\|_F^2$

( olduğu Frobemino normu ). Türev için bkz. Eckart-Young teoremi . $\|\cdot\|_F$

Norm dışbükey olmasına rağmen, optimize edildiği set dışbükeydir.

Bir dışbükey gevşeme PCA sorunun Konveks Düşük Derece Yaklaşım denir

$\hat{X} = \underset{\|X\|_* \leq c}{argmin} \| M - X\|_F^2$

$\|\cdot\|_*$ $\|\cdot\|_1$

Ayrıntılar için Sparsity ile İstatistiksel Öğrenme , ch 6 (matris ayrışımı) başlıklı makaleyi görebilirsiniz .

Daha genel sorunlarla ve bunların konvekslikle ilişkisiyle ilgileniyorsanız, bkz. Genelleştirilmiş Düşük Sıralama Modelleri .

— Jakub Bartczuk
kaynak

Feragatname: Önceki cevaplar, PCA'nın orijinal formülasyonundaki nasıl dışbükey olmadığını, ancak dışbükey bir optimizasyon problemine dönüştürülebildiğini açıklamak için oldukça iyi bir iş çıkarır. Cevabım sadece Birim Küreler ve SVD'lerin jargonuna çok aşina olmayan fakir ruhlar (benim gibi) içindir - ki bu btw, bilmek iyidir.

Benim kaynağım Prof. Tibshirani'nin bu ders notları

Bir optimizasyon probleminin dışbükey optimizasyon teknikleriyle çözülmesi için iki ön koşul vardır.

Amaç işlevi dışbükey olmalıdır.
Kısıtlama işlevleri de dışbükey olmalıdır.

PCA'nın çoğu formülasyonu, bir matrisin rütbesinde bir kısıtlama içerir.

Bu tip PCA formülasyonlarında, koşul 2 ihlal edilir. Çünkü $rank(X) = k,$ $J_{11}$ $J_{22}$

— bal porsuğu
kaynak

" in ne anlama geldiğini ve rütbesinde neden herhangi bir kısıtlama olduğunu açıklar mısınız? Bu, PCA anlayışımla uyuşmuyor, ancak belki de sadece

X

$X$

k

$k$ ana bileşenlerinin arandığı .

— whuber

Evet,

X

$X$

k

$k$