“Rastgele projeksiyon” kesinlikle bir projeksiyon değil mi?

Rastgele Projeksiyon algoritması Mevcut uygulamaları onları eşleyerek veri örnekleri boyutunu azaltmak üzere using izdüşüm matrisi Girişleri gelen, örneğin, uygun bir dağılım (dan iid ):$\mathbb R^d$$\mathbb R^k$$d\times k$$R$$\mathcal N(0,1)$

$x^\prime = \frac{1}{\sqrt k}xR$

Uygun olarak, bu eşlemenin yaklaşık olarak çift mesafeleri koruduğunu gösteren teorik kanıtlar mevcuttur.

Ancak, son zamanlarda bu notları buldum , yazarın rastgele bir matris ile bu eşlemenin kelimenin tam doğrusal cebirsel anlamında bir projeksiyon olmadığını iddia ettiği yerde buldum (sayfa 6). Orada verilen açıklamalardan, bunun nedeni, girişleri bağımsız olarak den seçildiğinde , sütunlarının kesinlikle dik olmamasıdır . Bu nedenle, kolonlarının dikliğinin uygulandığı RP'nin önceki versiyonları bir projeksiyon olarak düşünülebilir.$R$$\mathcal N(0,1)$$R$

(1) bu katı anlamda bir projeksiyonun tanımı nedir ve (2) RP bu tanım altında neden bir projeksiyon değil? Hakkında daha ayrıntılı bir açıklama sağlayabilir misiniz?

1. Bu katı (doğrusal cebirsel) anlamda bir projeksiyonun tanımı nedir (kelimenin)

   https://en.wikipedia.org/wiki/Projection_(linear_algebra)

   Lineer cebir ve fonksiyonel analizlerde, bir çıkıntı, bir lineer dönüşümdür , kendisi için bir vektör boşluğundan bu şekilde . Yani, herhangi bir değere iki kez uygulandığında, bir kez uygulanmış gibi aynı sonucu verir (idempotent).$P$$P^2 = P$$P$

   Ortogonal projeksiyon veya vektör projeksiyonu için

   https://en.wikipedia.org/wiki/Projection_(linear_algebra)

   Ortogonal bir projeksiyon, U aralığının ve boş V boşluğunun dikey alt uzaylar olduğu bir projeksiyondur.

2. RP neden bu tanım altında bir projeksiyon değil?

   Michael Mahoney dersinizde RP'nin nasıl yapılandırıldığına , RP'nin geleneksel lineer cebirsel anlamda bir projeksiyon olup olmadığına bağlı olduğunu yazıyor . Üçüncü ve dördüncü noktalarda bunu yapar:

   Üçüncüsü, rastgele vektörler tam olarak dik olsaydı (aslında orijinal JL yapılarında olduğu gibi), o zaman JL projeksiyonunun dikey bir projeksiyon olması gerekirdi

   ...

   ancak bu Gaussyalılar, $\lbrace \pm \rbrace$ rastgele değişkenler ve diğer birçok yapı için yanlış olsa da, sonuçta elde edilen vektörlerin yaklaşık birim uzunluğu ve yaklaşık dikey olduğu kanıtlanabilir.

   ...

   bu “yeterince iyi”.

   Böylece, prensip olarak, ortogonal matrislerle sınırlı olan farklı bir yapıya sahip rastgele projeksiyon yapabilirsiniz (buna rağmen). Örneğin orijinal esere bakın:

   Johnson, William B. ve Joram Lindenstrauss. "Lipschitz eşlemelerinin bir Hilbert uzaya genişletilmesi." Çağdaş matematik 26.189-206 (1984): 1.

   ... bir kişi rastgele seçerse, l n 2 üzerine sıralı bir $k$ dikey projeksiyon$l_2^n$

   ...

   Bu kesin olmak için, izin $Q$ birinci üzerine projeksiyonu $k$ koordinatları $l_2^n$ ve izin $\sigma$ ile Haar ölçü normalleştirilmiş $O(n)$ , ilgili ortogonal grup $l_2^n$ . Daha sonra rastgele değişken

   $$f: (O(n), \sigma) \to L(l_2^n)$$ ile tanımlanan $$f(u) = U^\star Q U$$ "Rastgele rütbe $k$ projeksiyonu " kavramını belirler .

   Vikipedi girişi rastgele projeksiyonu bu şekilde tarif eder (aynı şey sayfa 10 ve 11'deki ders notlarında da belirtilmiştir)

   https://en.wikipedia.org/wiki/Random_projection#Gaussian_random_projection

   Birinci sıra homojen seçilen rasgele birim vektör $S^{d − 1}$ . İkinci sıra, ilk satıra dik olan uzaydan rastgele bir birim vektördür, üçüncü sıra ise ilk iki satıra dik olan uzaydan rastgele bir birim vektördür, vb.

   Ancak, matris içindeki tüm matris girişlerini normal dağılıma sahip rastgele ve bağımsız değişkenleri (Whuber'ın yorumunda çok basit bir sonuçla bahsettiği gibi) aldığınızda genellikle bu dikeyliği elde etmezsiniz "sütunlar her zaman dikey olsaydı, girişleri bağımsız olamaz ").

   Matris $R$ , bir projeksiyon matris ile ilgilidir, çünkü dik sütunları edilmesi durumunda ürün, bir çıkıntı olarak görülebilir $P = R^TR$ . Bu, normal en küçük kareler regresyonunu bir izdüşüm olarak görmekle biraz aynıdır. Ürün $b = R^T x$ çıkıntı değil ama bir farklı baz vektöründe koordinat verir. 'Gerçek' çıkıntının $x' = Rb = R^TRx$ ve yansıtma matrisi $R^TR$ .

   İzdüşüm matrisi $P=R^TR$ olması gerekmektedir kimlik belgesi alt uzay üzerinde $U$ çıkıntının (bkz aralığıdır özelliklerini Ara sayfa sözü). Ya da farklı olarak, özdeşlik 1 ve 0'a sahip olması gerektiği söylenir, öyle ki özdeşlik matrisi olduğu altuzay, özdeğerler 1 ile ilişkili özvektörlerin aralığıdır. Rastgele matris girişleri ile bu özelliği elde edemezsiniz. Bu ders notlarındaki ikinci nokta

   ... birçok yönden dikey bir matrisi “benziyor”… $range(P^T P)$ eşit olarak dağıtılmış bir alt uzaydır ... ancak özdeğerler $\lbrace 0, 1 \rbrace$ .

   ^{Not bu teklif matris bu $P$ matris ile ilgilidir $R$ söz konusu olup izdüşüm matrisi için $P = R^TR$ matrisi tarafından ima edilmektedir $R$}

   Bu nedenle, matristeki rastgele girişlerin kullanılması gibi farklı konstrüksiyonların rastgele projeksiyonu, dik bir projeksiyona tam olarak eşit değildir. Ancak hesaplamalı olarak daha basittir ve Michael Mahoney'e göre, “yeterince iyi” dir.

Bu doğru: "rastgele projeksiyon" kesinlikle bir projeksiyon değil.

Projeksiyon açık bir şekilde matematiksel bir nesne tanımlanır: https://en.wikipedia.org/wiki/Projection_(linear_algebra) - doğrusal bir idempotentent operatörü yani doğrusal operatörü $P$ , öyle ki $P^2 = P$ . Bir projeksiyonu iki kez uygulamak, onu yalnızca bir kez uygulamakla aynıdır, çünkü bir alt alana bir nokta yansıtıldıktan sonra, tekrar yansıtıldığında sadece orada kalmalıdır. Bu tanımda diklik hakkında hiçbir şey yoktur; aslında bir projeksiyon eğik olabilir (Wikipedia'ya bakınız).

Sadece kare matrislerin bu anlamda "projeksiyonları" temsil edebileceğini unutmayın. "Rastgele projeksiyon" k ≪ d ile rastgele bir $d\times k$ matrisi $R$ kullanır , bu nedenle yukarıdaki tanım anlamında bir projeksiyon olamaz.$k\ll d$

$R$ ortonormal sütunlarını yapsanız bile (örneğin Gram-Schmidt işlemini uygulayarak), bu argüman hala geçerli olacaktır. Birisi yakın zamanda PCA hakkında bu soruyu sordu: PCA bağlamında tam olarak "projeksiyon matrisi" ne denmelidir? - ortonormal özvektörlerin bir $d\times k$ matrisi $U$ kesinlikle bir projeksiyon değil.

Buradaki anahtarın, $d\times k$ RP matris $R$ sütun uzayını , izdüşümü gerçekleştirdiğimiz alt uzay olarak düşünmektir . Genel olarak, bağımsız olarak sütun olmadığı $R$ ortogonal olan, tek bir örnek bir çıkıntı olabilir $x\in \mathbb R^d$ sütun alan üzerine $R$ aşağıdaki denklem [1] Ussing:

$p = xR(R^TR)^{-1}R^T$$p\in\mathbb R^d$

$R$$R^TR = I\in \mathbb R^{k\times k}$$x$$R$

$p = xRR^T$$p\in\mathbb R^d$

$RR^T\in\mathbb R^{d\times d}$$(RR^T)^2=RR^TRR^T=RR^T$

$R$$\mathbb R^k$$\mathbb R^d$$x\in\mathbb R^d$$xRR^T$$R$$RR^T$

Burada akıl yürütmemi onaylayabilir / düzeltebilirseniz minnettar olurum.

Referans:

[1] http://www.dankalman.net/AUhome/classes/classesS17/linalg/projections.pdf

Hızlı Walsh Hadamard dönüşümünden önce yeniden hesaplanabilir rasgele işaret çevirme veya permütasyon kullanıyorsanız, rastgele projeksiyon diktir.