SVD üzerinde Johnson-Lindenstrauss lemması ne zaman kullanılır?

Johnson-Lindenstrauss lemması, yüksek boyutlu bir uzayda noktaları daha düşük boyutta noktalara yansıtmaya izin verir. En uygun düşük boyutlu uzayları bulurken, standart bir teknik tekil değer ayrışmasını bulmak ve daha sonra en büyük tekil değerler tarafından üretilen alt boşluğu almaktır. SVD üzerinde Johnson-Lindenstrauss'u kullanmak ne zaman ilgi duyar?

machine-learning

— user09128323
kaynak

Yanıtlar:

İki yaklaşım çok farklı garantiler sağlar.

JL Lemma aslında "bana istediğiniz hatayı ver, ben de size bu hataya kadar olan mesafeleri yakalayan düşük boyutlu bir alan vereceğim" diyor. Aynı zamanda en kötü durum ikili garantisidir: her bir puan çifti vb.

SVD temelde "bana hangi boyutta yaşamak istediğinizi söylersiniz ve size" mümkün olan en iyi yerleştirmeyi "veririm, burada" en iyi " ortalama olarak tanımlanır : öngörülen benzerliğe karşı gerçek benzerliğin toplam hatası minimumdur.

Yani teorik açıdan çok farklı problemleri çözüyorlar. Pratikte, hangisini istediğiniz sorun modelinize, hangi parametrelerin daha önemli olduğuna (hata veya boyut) ve ne tür garantilere ihtiyacınız olduğuna bağlıdır.

— Suresh Venkat
kaynak

Birisi ne kadar tam olarak söyler misiniz

(1-eps) elde edilen | uv | ^ 2 <= | f (u) -f (v) | ^ 2 <= (1 + eps) | uv | ^ 2 ( en.wikipedia.org/wiki/Johnson%E2%80%93Lindenstrauss_lemma adresinden )?

f (\cdot)

$f(\cdot)$

— T ....

Bu başka bir soru. Ancak (çok) kısaca,

matrisini alıp standart normalden çizilmiş girişlerle doldurursanız,

olarak tanımlanır .

A

$A$

f (x)

$f(x)$

A x

$Ax$

— Suresh Venkat

Bozulmanın Hamming metriğinde olduğu yerlerde de sonlu alanlar için bir JL şeması var mı? Eğer öyleyse,

burada ne olurdu ?

f

$f$

— T ....

Boyut azaltmayı Hamming metriği için etkili bir şekilde yapamazsınız.

yapısı çok farklıdır. Çok elle yapılan bir anlamda, JL tarzı indirimleri kabul etmek bir Hilbert uzayında yaşamakla bağlantılıdır.

ℓ_{1}

$\ell_1$

— Suresh Venkat

SVD ve JL aynı zamanda gelecekteki noktalara da farklı şekilde bakıyor.

Yani, verilerinizin temeldeki bir dağıtımdan geldiğini varsayarsanız, prensip olarak SVD, aynı dağıtımdan örneklendiği sürece gelecekteki tüm noktalar için "iyi" kalmalıdır. Öte yandan, JL'nin hedef boyutu nokta sayısına bağlıdır, yani ek noktalara bir JL dönüşümü uygulanmasının hata olasılığını artırabileceği anlamına gelir.

Örneğin, boyutsallık azaltmayı başka bir algoritma için önişleme adımı olarak kullanıyorsanız, bu önem kazanır. Egzersiz verileri için SVD sınırları test verilerinde tutulabilir, ancak JL'ler geçerli değildir.

— Frumple
kaynak

Bu çok iyi bir nokta.

— Paul Siegel

Bu, Suresh'in cevabının bir takibi - Cevabını okuduktan sonra biraz googledim ve aşağıdaki anlayışı buldum. Aslında bunu cevabına bir yorum olarak gönderecektim, ama artmaya devam etti.

Lütfen cevaptaki hataları belirtin, bu alanda uzman değilim.

Bir anlamda, JL ve SVD elma ve portakal gibidir.

1) Çözdükleri problemler tamamen farklı. Biri çift mesafelerle, diğeri en iyi temsil ile ilgilidir. Biri en kötü durum, diğeri ortalama bir durum.

Alt alan JL döndürür ~~(JL yapıcı değildir, ancak en iyi alt alan döndürdüğünü varsayalım)~~ aşağıdaki optimizasyon çözümdür

\begin{matrix} (1) & \arg min_{P} {\underset{u, v}{yudum} (| 1 - \frac{| | P u - P v | |_{2}}{| | u - v | |_{2}} |)} \end{matrix}

$\arg\min\limits_{P} \left\{\sup\limits_{u,v} \left(\Biggl\lvert 1- \frac{||Pu-Pv||_2}{||u-v||_2} \Biggl\rvert \right) \right\} \tag{1}$

(Bu kesin değil, daha sonra bu konuda daha fazla yorum yapacağım)

sorun (bir boyutu verildiğinde ) $k$

\arg min_{P loş k} {Ort (| | u - P u | |_{2})}

$\arg\min\limits_{P\text{ of dim k}} \left\{\text{Avg}\left(||u-Pu||_2\right)\right\}$

2) Girişler: Her iki algoritma da alt uzaylar çıkarsa da, ihtiyaçları olan girişler farklıdır. JL bir tolerans gerektirir (gerçek mesafeler ve altuzaydaki mesafeler arasında tolere etmek istediğiniz maksimum hata nedir), SVD ise boyutlar gerektirir. $\epsilon$

3) JL yapıcı değildir, SVD yapıcıdır - yapıcı terimi tam olarak tanımlanmadığı için bu nokta biraz belirsizdir. SVD'yi hesaplamak için deterministik algoritmalar vardır, ancak bir JL alanı bulma algoritması rastgele bir algoritmadır - başarısız olursa rastgele projeksiyonlar yapın, tekrar deneyin.

4) SVD benzersizdir (alt uzay benzersiz olmayabilir, ancak objektif değer tüm alt uzaylar için aynı olacaktır). Denklem (1) Yukarıdaki JL aslında İkili mesafeler içinde tutarsızlık minimize hakkında konuşmak olmadığını anlamda kesin değil - mesafeleri atmost olacak daha küçük bir alt uzay varlığı hakkında bir garanti verir gerçek farklıdır değerler. Bu tür birçok alt alan olabilir, bazıları diğerlerinden daha iyi. $\epsilon$

(Cevabın dikkat çekici kısımlarıyla ilgili açıklama için açıklamalara bakınız).

Düzenleme: @ john-myles-white iddialarını doğrulamak ve bir projeksiyonun nasıl oluşturulabileceğini göstermek için JL hakkında bir yazı yazdı: http://www.johnmyleswhite.com/notebook/2014/03/24/a-note- on-the-johnson-Lindenstrauss-lemmasının /

— elexhobby
kaynak

Cevabınızda bir takım hatalar var. (1) JL son derece yapıcıdır: haritayı oluşturmak için her türlü algoritma vardır (2) farkı korumaz, ancak göreceli fark (oran) (3) JL leminin derandom (4) JL çalışması herhangi bir vektör kümesi için : yapı gerçek girdiden bağımsızdır. gereken tek bilgi vektör sayısıdır .

— Suresh Venkat

Teşekkürler Suresh. Son öneriniz dışında hepsini dahil ettim. Cevabı daha fazla düzenlemekten çekinmeyin. Son noktada kafam karıştı. Size hangi vektörleri verirsem aynı haritanın çalışacağını mı söylüyorsunuz?

— elexhobby

Bu biraz ince bir nokta. Hatayı ve vektör sayısını düzelttikten sonra, herhangi bir vektör kümesi için yüksek olasılıkla çalışacak olan haritalarda sabit bir olasılık dağılımı vardır . Elbette bu özelliği karşılayan deterministik olarak sabit doğrusal harita yoktur.

— Sasho Nikolov

Olivier Grisel'in scikit-learn uygulamasını incelemeye değer

— KLDavenport

Sadece genel olarak bir JL gömme oluşturmak için herhangi bir deterministik algoritma olmadığını eklemek istiyorum, JL algoritmasına göre rastgele üretilen bir matrisin aslında "neredeyse izometri" özelliğine sahip olup olmadığını kontrol etmek genellikle hesaplama açısından yasaklayıcıdır. çok yüksek olasılıkla yapar). Bu yüzden JL teoreminin yapıcı olmadığını söylemek mantıklı. " ile arasında rastgele bir gerçek sayı seçin" algoritmasıyla karşılaştırın ; Bu olasılık ile aşkın bir sayı verir , ama ben yapıcı olarak adlandırmazdım.

0

$0$

1

$1$

1

$1$

— Paul Siegel