Neden düşük rütbeli yaklaşımlarla uğraşasınız ki?

N satırı ve m sütunu olan bir matrisiniz varsa , verilen matrisin düşük dereceli bir yaklaşımını hesaplamak için SVD'yi veya diğer yöntemleri kullanabilirsiniz .

Bununla birlikte, düşük rütbeli yaklaşımda hala n satır ve m sütun olacaktır. Aynı sayıda özelliğe sahip olmanız koşuluyla, düşük seviyeli yaklaşımlar makine öğrenimi ve doğal dil işleme için nasıl yararlı olabilir?

Düşük seviye yaklaştırma arasında gibi bir matris karekökü ayrılacak olabilir ve öz ayrışma olan böylece ile temsil edilebilir özellikler sayısını azaltarak, olarak seviye-r yaklaşılmasına dayanan . Alt simge X,G=urλ$\hat{X}$$X$X,UλUTGX=GG, T$G=U_{r}\lambda_{r}^\frac{1}{2}$$X$$U\lambda U^T$$G$$\hat{X}=GG^T$$r$ "Eksen" terimi yaklaşıklamada kullanılan öz vektörlerin ve öz değerlerin sayısını temsil eder. Dolayısıyla, verileri temsil eden özelliklerin sayısını azaltır. Bazı örneklerde, düşük sıralı yaklaşımlar, ortogonallik, olumsuzluk (negatif olmayan matris çarpanlarına ayırma) vb.

Düşük dereceli yaklaşım noktası, yalnızca boyut küçültme gerçekleştirmek için gerekli değildir.

Fikir, etki alanı bilgisine dayanarak, matrisin verilerinin / girişlerinin bir şekilde matrisi düşük seviyeye çıkaracağıdır. Ancak bu, girişlerin gürültü, yolsuzluk, eksik değerler vb.

Düşük dereceli yaklaşım, bu nedenle "orijinal" (gürültü vb. İle karıştırılmadan önce "ideal" matrisi geri kazanmanın bir yoludur) düşük dereceli matrisi, yani, en tutarlı olan matrisi bulmak (gözlemlenen girişler açısından) akım matrisi ile düşük derecelidir ve böylece ideal matrise bir yaklaşım olarak kullanılabilir. Bu matrisi kurtardıktan sonra, gürültülü sürümün yerine kullanabilir ve umarım daha iyi sonuçlar elde edebiliriz.

Şimdiye kadar bahsedilmeyen iki neden daha:

1. Doğrusallığı azaltma. Bu tekniklerin çoğunun, takip eden işlemler için yararlı olabilecek olan doğrusallığı ortadan kaldırdığına inanıyorum.

2. Hayal gücümüz düşük rütbeli, bu nedenle düşük rütbeli ilişkileri keşfetmek için yararlı olabilir.

$r<m$$r$$m$

"Modern çok değişkenli istatistiksel tekniklere (Izenman)" göre azalan rütbe regresyonu, PCA, faktör analizi, kanonik değişken ve korelasyon analizi, LDA ve yazışma analizi gibi özel durumlar gibi çeşitli ilginç yöntemleri kapsar.