PCA ve otomatik kodlayıcı arasındaki farklar nelerdir?

56

Hem PCA hem de otomatik kod çözücü, azaltma azaltması yapabilir, bu nedenle aralarındaki fark nedir? Hangi durumda üst üste kullanmalıyım?

— RockTheStar
kaynak

52

Otomatik kodlayıcılarda doğrusal olmayan kodlayıcı / kod çözücüleri bulunabilirken, PCA doğrusal bir harita ile sınırlandırılmıştır.

Yaklaşık anlamına gelir ve lineer transfer fonksiyonu ile bir tek katmanlı otomatik kodlayıcı PCA, hemen hemen eşdeğer oluncaya , fakat ilgili tarafından kapsanan alt uzay - AE ve PCA bulunan aynı olmayacak 'ler verir. $W$ $W$

— bayerj
kaynak

Anlıyorum! Bu yüzden doğrusal olmayan dönüşüm için iki katmana ihtiyacım var. Yani çoklu katmanlar çok karmaşık doğrusal olmayan anlamına gelir?

— RockTheStar

7

@RockTheStar: önemli olan katman sayısı değil, aktivasyon fonksiyonu [transfer fonksiyonu]. Doğrusal transfer işleviyle, hiçbir katman doğrusal olmayan bir otomatik kodlayıcıya yol açmaz.

— amip diyor Reinstate Monica

Dolayısıyla, doğrusal olmayan dönüşümle birlikte, yalnızca 1 kat gizli birim vardır. Çözüm hala doğrusal değil mi?

— RockTheStar

Evet. (Ayrıca, bazı durumlarda, örneğin gizli üniteler yakın doğrusal bölgelerde etkinleştirildiğinde, hala doğrusal olabilir.)

— bayerj,

"gizli üniteler yakın doğrusal bölgelerde etkinleştirildiğinde", sigmoid fonksiyonundaki doğrusal kısmı kastediyorsunuz, değil mi?

— RockTheStar 16:14

17

Bayerj'in işaret ettiği gibi PCA, Otomatik Kodlayıcıların (AE) olmadığı doğrusal sistemleri varsayan bir yöntemdir. AE'de doğrusal olmayan bir işlev kullanılmazsa ve gizli katmandaki nöronların sayısı daha küçük boyutta ise, o zaman PCA ve AE aynı sonucu verebilir. Aksi takdirde, AE farklı bir alt uzay bulabilir.

Unutulmaması gereken bir şey, bir AE'deki gizli katmanın, girdiden daha büyük boyutta olabileceğidir. Bu gibi durumlarda AE'ler boyutsallık azaltma yapmıyor olabilir. Bu durumda, onları bir özellik uzayından diğerine bir dönüşüm yaptığını algılıyoruz; burada yeni özellik alanındaki veriler değişkenlik faktörlerini ortadan kaldırıyor.

$O(2^N)$ $O(N)$

— DaemonMaker
kaynak

2

senin ans için thx!

— RockTheStar 16:14

6

Bu bir yorum olarak daha uygundur, ancak bunun için itibarımız olmadığı için cevap olarak verilecektir.

Neredeyse bayerj'deki düşüncesiyle biraz kafam karıştı: ın cevabı. Yapay Sinir Ağlarını Okuma ve Temel Bileşen Analizi: Kanıtın verildiği Yerel Minimasyonsuz Örneklerden Öğrenme .

$p$ $\Sigma_{XX}$

Öyleyse bu, PCA tarafından kapsanan tam olarak karşılık gelen alan değil mi?

— johnblund
kaynak

1

Alıntı ettiğiniz kağıda doğrusal bir otomatik kodlayıcı kullanılır, yani doğrusal olmayan etkinleştirme işlevi yoktur. Bu nedenle ağırlıkları tam olarak PCA tarafından yayılan aynı alt alanı kapsar.

— elliotp

6

$\{\mathbf{x}_i \in \mathbb{R}^n \}_{i=1}^N$ $N$ $n-$ $X$ $\mathbf{x}_1,\dots,\mathbf{x}_N$

\begin{aligned} h_{1} & = W_{1} x + b_{1} \\ \hat{x} & = W_{2} h_{1} + b_{2} \end{aligned}

$\begin{align} \mathbf{h}_1 & = \mathbf{W}_1\mathbf{x} + \mathbf{b}_1 \\ \hat{\mathbf{x}} & = \mathbf{W}_2\mathbf{h}_1 + \mathbf{b}_2 \end{align}$

$\hat{\mathbf{x}}$ $W_1\in \mathbb{R}^{n \times m}$ $W_2\in \mathbb{R}^{m \times n}$ $m < n$

$m$ $W_2$ $m$ $X$

$W_2$ $m$ $X$ $X$ $n \times N$ $W_2$ $m\times n$ $W_2$ $O(m^2n)$ $X$ $O(n^2N)$ $m < n$

— DeltaIV
kaynak