Gizli anlamsal analiz (LSA), gizli anlamsal indeksleme (LSI) ve tekil değer ayrışımı (SVD) arasındaki farklar nelerdir?

15

Bu terimler çok fazla atılıyor, ancak eğer varsa, farklılıkların ne olduğunu düşündüğünüzü bilmek istiyorum.

Teşekkürler

pca text-mining svd

— Neil McGuigan
kaynak

12

LSA ve LSI çoğunlukla eşanlamlı olarak kullanılır, bilgi alma topluluğu genellikle LSI olarak adlandırılır. LSA / LSI, A-USV 'şeklinde bir belge-matris matrisi U, bir terim-matris matrisi U, tekil bir değer matrisi S ve V-kavram matrisi V'ye ayrıştırmak için SVD'yi kullanır. Wikipedia sayfasında gizli anlamsal indekslemenin ayrıntılı bir açıklaması vardır .

— ebony1
kaynak

8

Özellikle LSA ve LSI sihirlerini yapmak için SVD'yi kullanırken, önceki ve sonraki bağlamları takip eden metin boyunca geçiş yapan HAL (Hiperspace Analog'dan Dile) adlı hesaplamalı ve kavramsal olarak daha basit bir yöntem vardır. Vektörler, bu (sıklıkla ağırlıklı) ortak oluşum matrislerinden çıkarılır ve semantik alanı indekslemek için spesifik kelimeler seçilir. Birçok yönden, SVD'nin matematiksel / kavramsal olarak karmaşık adımına ihtiyaç duymadan LSA'nın yanı sıra performans gösterdiğini anlamam gerekiyor. Ayrıntılar için Lund ve Burgess, 1996'ya bakınız.

— russellpierce
kaynak

4

... Finch ve Chater (1992, 1994), Schütze (1993) ve diğerleri tarafından önceki çalışmaları yeniden özetlemek. HAL, LSA ve diğer önceki teknik, bağlamsal benzerliklerini hesaplayarak kelimeler için benzerlik ölçüsü oluşturarak çalışır. (Bu Shephard'ın 'ikinci dereceden' benzerliği: 'birinci dereceden' benzerlik, a kelimesinin b kelimesinin yakınında meydana gelmesidir; 'ikinci dereceden' benzerlik, a kelimesinin b kelimesiyle aynı türden kelimelerin yakınında meydana gelmesidir).

— konjugateprior

3

Karşılaştırma ve kontrast oluşturma: LSA için bağlam tam belgedir. HAL ve diğerleri için hedef kelimeyi çevreleyen metinsel bir penceredir. LSA, SVD / PCA aracılığıyla çıkarılan doğrusal bir altuzaydaki mesafeyi ölçer ve diğeri, çevredeki sözcük sayımlarının orijinal alanındaki mesafelerle ilgilenir.

— konjugateprior

6

NMF ve SVD'nin her ikisi de matris çarpanlara ayırma algoritmalarıdır. Wikipedia, NMF hakkında bazı ilgili bilgilere sahiptir .

$A^*A=A A^*$

Diğer yanıtlayıcılar LSI / LSA ...

— Emre
kaynak

kovaryans matrisi olmalı, değil mi? korelasyon matrisi değil.

— Rafael

Önce değişkenlerinizi ortalamadığınız sürece evet.

— Emre

değişkenlerin normalleşmesinden sonra korelasyon matrisi olur?

— Rafael

Normalleştirme ölçeklendirme ile merkezleniyor, bu yüzden bu farklı.

— Emre