«linear-algebra» etiketlenmiş sorular

Son zamanlarda birçok insanın tensör eşdeğeri geliştirdiğini fark ettim (tensör faktörizasyonu, tensör çekirdekleri, konu modellemesi için tensörler, vb.) Merak ediyorum, neden dünya aniden tensörlerle büyülendi? Bu konuda ortaya çıkan özellikle şaşırtıcı olan son makaleler / standart sonuçlar var mı? Hesaplamalı olarak daha önce şüphelenilenden çok daha ucuz mu? Glib olmuyorum, …

171 machine-learning  references  matrix  linear-algebra  tensor 

Bir süredir R'de çalışıyorum ve PCA, SVD, QR ayrışımları ve bunun gibi birçok lineer cebir sonuçlarıyla (ağırlıklı gerilemeleri tahmin ederken teftiş ederken) bir şey hakkında bir tavsiyede bulunup bulunmadığını bilmek istedim. Çok teorik olmayan fakat matematiksel olarak titiz olan ve tüm bu konuları kapsayan kapsamlı doğrusal cebir kitabı.

54 references  matrix  linear-algebra  weighted-regression 

Çeşitli öğreticiler ve (gibi soruların dahil PCA hakkında çok şey okudum bu bir , bu bir , bu bir ve bu bir ). PCA'nın optimize etmeye çalıştığı geometrik problem bana açıktır: PCA, yansıtılan verinin varyansını en üst düzeye çıkaran yeniden yapılandırma (projeksiyon) hatasını en aza indirerek ilk ana bileşeni bulmaya …

54 pca  optimization  linear-algebra  intuition 

Tekil değer ayrışımı (SVD) hakkında okudum. Neredeyse tüm ders kitaplarında, verilen spesifikasyon ile matrisi üç matrise dönüştürdüğü belirtilmektedir. Fakat matrisi böylesi bir biçimde bölmenin ardındaki sezgi nedir? PCA ve boyutsallığı azaltmaya yönelik diğer algoritmalar, algoritmanın güzel görselleştirme özelliğine sahip olduğu anlamında sezgiseldir ancak SVD'de durum böyle değildir.

50 matrix  linear-algebra  svd  intuition 

Sanırım cevap evet olmalı, ama hala bir şeyin doğru olmadığını hissediyorum. Literatürde bazı genel sonuçlar olmalı, biri bana yardımcı olabilir mi?

48 covariance  matrix  covariance-matrix  linear-algebra 

Kovaryans matrisini ters çevirerek ve bu gibi sonuçlanan hassas matristen uygun hücreler alarak, rastgele değişkenler arasındaki kısmi korelasyonların bulunabileceğini duydum (bu gerçek http://en.wikipedia.org/wiki/Partial_correlation adresinde , ancak bir kanıt olmadan). . Bu neden böyle?

32 covariance  covariance-matrix  linear-algebra  partial-correlation  matrix-inverse 

Diyelim ben var ki boyutlu değişkenli Gauss dağılımı. Ve alır , n gözlemler (bunların her a s -vector) bu dağılımdan ve örnek kovaryans matrisi hesaplamak S . Bu yazıda yazarlar, p > n ile hesaplanan örnek kovaryans matrisinin tekil olduğunu belirtmektedir .pppnnnpppSSSp>np>np > n Nasıl doğru veya türetilmiş? Herhangi bir …

30 covariance-matrix  linear-algebra 

Andrew Ng's Coursera dersinden ve diğer materyallerden PCA okuyorum. Stanford NLP dersinde cs224n'nin ilk ödevinde ve Andrew Ng'un ders videosunda kovaryans matrisinin özvektör ayrışması yerine tekil değer ayrıştırması yapıyorlar ve Ng, SVD'nin özerk kompozisyondan sayısal olarak daha kararlı olduğunu söylüyor. Anladığım kadarıyla PCA için, (m,n)boyutun kovaryans matrisinden değil, boyut veri …

29 pca  linear-algebra  svd  eigenvalues  numerics 

Eğer ve iki bağımsız rasgele birim vektörlerdir kendi sayısal ürün (nokta ürün) dağılımı ne (homojen bir birim küre üzerinde dağıtılmaktadır), ?y Ar D x ⋅ yxx\mathbf{x}yy\mathbf{y}RDRD\mathbb{R}^Dx⋅yx⋅y\mathbf x \cdot \mathbf y Gibi tahmin hızlı bir şekilde dağılımı büyür (?), Sıfır ortalama ve daha yüksek boyutlarda azalan varyans normal olur ancak için …

27 mathematical-statistics  linear-algebra  beta-distribution 

Hem Matlab hem de R'de çoğaltılabileceğim rastgele verilerin SVD sonucunda çok garip bir davranış gözlemliyorum. LAPACK kütüphanesinde sayısal bir sorun gibi görünüyor; bu mu? Sıfır ortalama ve kimlik kovaryansına sahip boyutlu Gaussian'dan n=1000n=1000n=1000 örnek çiziyorum : . Onları veri matrisi . (İsteğe bağlı olarak merkezleyebilir ya da değil, aşağıdakileri etkilemez.) …

21 pca  svd  linear-algebra  numerics 

Simetrik pozitif tanımlı (SPD) matrisin tanımını biliyorum, ama daha fazla anlamak istiyorum. Sezgisel olarak neden bu kadar önemli? İşte bildiklerim. Başka? Belirli bir veri için Ko-varyans matrisi SPD'dir. Ko-varyans matrisi önemli bir metriktir, sezgisel açıklama için bu mükemmel gönderiye bakın . SPD ise, ikinci dereceden form dışbükeydir . Konveksite, yerel …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

Temel bileşen analizinin (PCA) konu (ikili) alanda nasıl çalıştığını sezgisel bir şekilde anlamaya çalışıyorum . İki değişken, 2D veri kümesi düşünün ve ve veri noktası (veri matrisi isimli ve ortalanmış olduğu varsayılmaktadır). PCA'nın olağan sunumu, noktasını dikkate almamız , kovaryans matrisini yazmamız ve özvektörlerini ve özdeğerlerini bulmamızdır; ilk PC maksimum …

19 pca  linear-algebra  intuition  geometry 

Let θ ∈ Rnθ∈R,n\theta \in R^{n} . Fisher Bilgi Matrisi şu şekilde tanımlanır: ben( θ)ben , j,= - E[ ∂2günlük( f(X| θ ) )∂θben∂θj|||θ ]ben(θ)ben,j=-E[∂2günlük⁡(f(X|θ))∂θben∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Fisher Information Matrix'in pozitif semidefinite olduğunu nasıl kanıtlayabilirim?

19 inference  linear-algebra  fisher-information 

Verilerimi XX\mathbf X varyanslar bir olacak ve kovaryanslar sıfır olacak şekilde dönüştürmek istiyorum (yani verileri beyazlatmak istiyorum). Ayrıca, araçlar sıfır olmalıdır. Oraya Z standardizasyonu ve PCA-dönüşümü yaparak ulaşacağımı biliyorum, ama hangi sırayla yapmalıyım? Kombine beyazlatma dönüşümünün biçiminde olması gerektiğini eklemeliyim x↦Wx+bx↦Wx+b\mathbf{x} \mapsto W\mathbf{x} + \mathbf{b}. PCA'ya benzer şekilde hem bu …

18 pca  linear-algebra 

Bu çok basit bir soru ama türetmeyi internette veya kitapta hiçbir yerde bulamıyorum. Bayesilerin çok değişkenli bir normal dağılımı nasıl güncellediğini görmek isterim. Örneğin: hayal edin P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf \mu}) &= & N({\bf \mu_0}, {\bf \Sigma_0})\,. \end{array} {\ …

18 bayesian  normal-distribution  matrix  posterior  linear-algebra