Bir manifold üzerindeki istatistiklerin grafiksel sezgisi

Açık bu yazı , şu ifadeyi okuyabilirsiniz:

Modeller genellikle sonlu boyutlu bir manifoldda noktalar ile temsil edilir . $\theta$

On Diferansiyel Geometri ve İstatistik Michael K Murray ve John W Rice bu kavramlar okunabilir bile matematiksel ifadeler görmezden nesir açıklanmıştır. Ne yazık ki, çok az örnek var. MathOverflow'daki bu yazı için de aynı şey geçerli.

Konunun daha resmi bir anlayışına yönelik bir harita veya motivasyon olarak hizmet etmek için görsel bir temsil ile yardım istiyorum.

Manifold üzerindeki noktalar nelerdir? Bu çevrimiçi bulgudan alınan bu alıntı , görünüşte veri noktaları veya dağıtım parametreleri olabileceğini gösteriyor:

Manifoldlar ve bilgi geometrisi istatistikleri, diferansiyel geometrinin istatistiklerle buluşmasının iki farklı yoludur. Manifoldlarla ilgili istatistiklerde, bir manifold üzerinde yatan verilerdir, bilgi geometrisinde veriler , ancak ilgili olasılık yoğunluk fonksiyonlarının parametrelenmiş ailesi bir manifold olarak ele alınır. Bu gibi manifoldlar, istatistiksel manifoldlar olarak bilinir. $R^n$

Bu diyagramı, burada teğet mekanın bu açıklamasından esinlenerek çizdim :

[ Aşağıdaki hakkındaki yorumu yansıtacak şekilde düzenleyin : $C^\infty$ ] Bir manifoldda , teğet alanı, ilişkili üzerinden çalışan manifold üzerindeki her olası eğriBu kadar her eğri geçişinden haritaları grubu olarak görülebilir örneğin bileşim olarak tanımlanan , ile manifoldunun yüzeyine gerçek hattından bir eğri (fonksiyon gösteren $(\mathcal M)$ $p\in \mathcal M$ $(\psi: \mathbb R \to \mathcal M)$ $p.$ $p,$ $C^\infty (t)\to \mathbb R,$ $\left(f \circ \psi \right )'(t)$ $\psi$ $\mathcal M$ ) noktasından geçer ve yukarıdaki diyagramda kırmızı renkle gösterilir; ve bir test fonksiyonunu temsil eder. "İzo " beyaz kontur çizgileri gerçek satırda aynı noktaya harita ve nokta çevreleyen . $p,$ $f,$ $f$ $p$

Eşdeğerlik (veya istatistiklere uygulanan eşdeğerliklerden biri) burada tartışılmıştır ve aşağıdaki alıntı ile ilgilidir :

Üstel bir ailenin parametre alanı boyutlu açık küme içeriyorsa , buna tam sıralama denir. $s$

Tam sıra olmayan bir üstel aileye genel olarak eğri bir üstel aile denir, çünkü tipik olarak parametre alanı küçük boyuttaki bir eğridir $\mathcal R^s$ $s.$

Bu, grafiğin yorumunu şu şekilde yapar: dağıtım parametreleri (bu durumda üstel dağılım aileleri için) manifoldda bulunur. veri noktaları, sıralı doğrusal olmayan optimizasyon problemi durumunda fonksiyonu aracılığıyla manifold üzerindeki bir çizgiyle . Bu, fizikteki hızın hesaplanmasına paralel olacaktır: "iso-f" çizgilerinin (turuncu renkteki yönlü türev) gradyanı boyunca işlevinin türevini aramak : fonksiyonu , bir dağıtım parametresi seçimini eğrisi olarak optimize etme rolünü oynar $\mathbb R$ $\psi: \mathbb R \to \mathcal M$ $f$ $\left(f \circ \psi \right)'(t).$ $f: \mathbb M \to \mathbb R$ $\psi$ manifold üzerindeki kontur çizgileri boyunca ilerler . $f$

ARKA PLAN EKLENEN PERSONEL:

Not olarak, bu kavramların derhal ML'deki doğrusal olmayan boyutsal azalma ile ilgili olmadığını düşünüyorum . Bilgi geometrisine daha çok benziyorlar . İşte bir teklif:

Daha da önemlisi, manifoldlarla ilgili istatistikler, manifold öğreniminden çok farklıdır. İkincisi, hedefin değerli verilerden gizli bir manifoldu öğrenmek olduğu bir makine öğrenimi dalıdır . Tipik olarak, aranan gizli manifoldun boyutu küçüktür . Gizli manifold, kullanılan özel yönteme bağlı olarak doğrusal veya doğrusal olmayabilir. $R^n$ $n$

İle Manifoldlar Üzerinde İstatistikler'den aşağıdaki bilgiler Modelleme Şekli Deformasyonlarının Başvurularda tarafından Ören Freifeld :

Birlikte genellikle doğrusal olduğu için, ile temsil edilen bir teğet alanı ilişkilendirebilir her nokta için, . , boyutu aynı olan bir vektör uzayıdır . Kökeni olan . Eğer bir Öklid uzay gömülü olduğu için, düşünebilir benzeşik bir bölme odası bu şekilde gösterilen: 1) dokunduğu de ; 2) en azından yerel olarak, tamamen bir tarafında bulunur. TpM öğelerine teğet vektörler denir. $M$ $TpM$ $p \in M$ $TpM$ $M$ $TpM$ $p$ $M$ $TpM$ $M$ $p$ $M$

[...] Manifoldlarda, istatistiksel modeller genellikle teğet alanlarda ifade edilir.

[...]

[İki tane düşünüyoruz] veri setleri noktalardan oluşur : $M$

$D_L = \{p_1, \cdots , p_{NL}\} \subset M$ ;

$D_S = \{q_1, \cdots , q_{NS}\} \subset M$

Let ve muhtemelen bilinmeyen iki, noktaları temsil . İki veri kümesinin aşağıdaki istatistiksel kuralları karşıladığı varsayılmaktadır: $µ_L$ $µ_S$ $M$

$\{\log_{\mu L} (p_1), \cdots , \log_{\mu L}(p_{NL})\} \subset T_{\mu L}M, \quad \log_{\mu L}(p_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_L)$ $\{\log_{\mu S} (q_1), \cdots , \log_{\mu S}(q_{NS})\} \subset T_{\mu S}M, \quad \log_{\mu S}(q_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_S)$

[...]

Başka bir deyişle, teğet boşluğunda ( ) ifade edildiğinde (teğet vektörler olarak), kovaryanslı sahip sıfır ortalama bir Gaussian'dan bir iid örnekleri kümesi olarak görülebilir . Benzer şekilde, teğet boşluğunda ifade edildiğinde, kovaryanslı ile sıfır-ortalama Gaussian'dan bir iid örneği kümesi olarak görülebilir . Bu Öklid vakasını genelleştirir. $D_L$ $M$ $\mu_L$ $\Sigma_L$ $D_S$ $\mu_S$ $\Sigma_S$

Aynı referansta, sorduğum bu grafik kavramın çevrimiçi olarak en yakın (ve sadece pratik) örneğini buluyorum:

Bu, verilerin teğet vektörler olarak ifade edilen manifoldun yüzeyinde olduğunu ve parametrelerin Kartezyen bir düzlemde eşleneceğini gösterir mi?

— Antoni Parellada
kaynak

Burada ne yapmaya çalışıyorsun? Manifoldlar çizilsin mi? Çoğu çizmek için çok sıkıcı. Örneğin, Gauss dağılımını deneyin.

— Aksakal

Normalde parametre boşluklarını vektör boşlukları gibi düşünürdüm, örneğin . Eğer parametrik "manifoldları" düşünürsem, akla ilk gelen şey "kısıtlama sistemleri" olurdu, örneğin . Aksi halde, alan neden "tamamlanmadı"? ("Manifold" olan

θ \in R^{n}

$\theta\in\mathbb{R}^n$

f (θ) = 0

$f(\theta)=0$

— altkümeyi

Umarım, @whuber sohbet ederek yaptığı yorumlar üzerinde durur.

— gung - Monica'yı eski

Düzenlenen sorunuzun kısa cevabı "hayır" dır. Teğet boşluk, manifolddaki tüm düz yolların hızlarını tanımlar. İstatistiklerdeki temel rolü, manifoldun son derece parametreli bir aileyi tanımladığı olasılıkları en üst düzeye çıkarmaktır. "Manifold öğreniminde" bir manifold, verilere yerel bir yaklaşım olarak kullanılır - bu, lineer regresyondaki "sütun boşluğunun" kavisli bir versiyonudur. Orada, teğet boşluk ortam Öklid boşluğunun içine gömülüdür . Yerel olarak, verilerin "yönlerini" tanımlar ve normal paketi "hata" yönlerini verir.

— whuber

Evet: kotanjant uzay de etrafında fonksiyonların mikropların sözcükler olarak tanımlanabilir . Teğet uzay (dolayısıyla!) Sadece onun ikili olduğunu. ve bir topoloji elde eder - yani, üzerindeki koordinat grafikleri aracılığıyla ve "yakın" olduğu iki teğet boşluk kavramını kabul edin . Bu, tanjant alanını tanımlamanın tanımını (ve görselleştirme sorununu) azaltır . Bu, kaynaklı tüm vektörlerin kümesidir . Spivak, Manifoldlar Üzerinde Analiz

T_{p}^{*} M

$T_p^{*}M$

p

$p$

p

$p$

p

$p$

T^{*} M

$T^{*}M$

T M

$TM$

T_{p} M

$T_pM$

T_{q} M

$T_qM$

M

$M$

T_{x} R^{n}

$T_x\mathbb{R}^n$

x

$x$ , bu türün açık ve temel bir tanımını sağlar.

— whuber

Yanıtlar:

Olasılık dağılımları ailesi, dağıtım parametrelerine karşılık gelen iç koordinatlara sahip bir manifold üzerindeki noktalar olarak analiz edilebilir . Fikir, yanlış bir metriğe sahip bir gösterimden kaçınmaktır: Tek Değişkenli Gaussians aşağıdaki grafiğin sağ tarafında olduğu gibi Öklid manifoldunda noktalar olarak çizilebilir ortalama ile -Axis ve SD eksenine (varyans çizilmesi durumunda pozitif yarısı): $(\Theta)$ $\mathcal N(\mu,\sigma^2),$ $\mathbb R^2$ $x$ $y$

Bununla birlikte, kimlik matrisi (Öklid mesafesi), bireysel 'ler arasındaki (dis-) benzerlik derecesini ölçmede başarısız olacaktır : etki alanında bir aralık verildiğinde, yukarıdaki grafiğin solundaki normal eğrilerde, örtüşmesiz alan (koyu mavi renkte), ortalama sabit tutulmuş olsa bile, düşük varyanslı Gauss eğrileri için daha büyüktür. Aslında, istatistiksel manifoldlar için “mantıklı” olan tek Riemann metriği Fisher bilgi metriğidir . $\mathrm{pdf}$

Gelen Fisher bilgi mesafesi: geometrik bir okuma , Costa SI, Santos SA ve Strapasson JE arasındaki benzerlik yararlanmak Gauss dağılımlarının Fisher bilgi matrisi ve metrik Beltrami-Pointcaré disk modeli kapalı bir formül elde etmek.

Hiperboloit "kuzey" konisi, her bir noktanın ortalama ve standart sapmaya (parametre boşluğu) ve arasındaki en kısa mesafeye karşılık geldiği Öklid olmayan bir manifold olur. Aşağıdaki diyagramdaki örneğin ve ekvator düzlemine hiperparabolik düz çizgiler olarak yansıtılan ( arasındaki mesafelerin bir metrik tensörle ölçülmesini sağlayan bir jeodezik eğridir. - Fisher bilgi metriği : $x^2 + y^2 - x^2 = -1$ $\mathrm {pdf's,}$ $P$ $Q,$ $\mathrm{pdf's}$ $g_{\mu\nu}\;(\Theta)\;\mathbf e^\mu\otimes \mathbf e^\nu$

D (P (x; θ_{1}), Q (x; θ_{2})) = min_{θ (t) | θ (0) = θ_{1}, θ (1) = θ_{2}} \int_{0}^{1} \sqrt{{(\frac{d θ}{d t})}^{⊤} I (θ) \frac{d θ}{d t} d t}

$D\,\left ( P(x;\theta_1)\,,\,Q(x;\theta_2) \right)=\min_{\theta(t)\,|\,\theta(0)=\theta_1\;,\;\theta(1)=\theta_2}\;\int_0^1 \; \sqrt{\left(\frac{\mathrm d\theta}{\mathrm dt} \right)^\top\;I(\theta)\frac{\mathrm d \theta}{\mathrm dt}dt}$

ile

I (θ) = \frac{1}{σ^{2}} [\begin{matrix} 1 & 0 \\ 0 & 2 \end{matrix}]

$I(\theta) = \frac{1}{\sigma^2}\begin{bmatrix}1&0\\0&2 \end{bmatrix}$

Kullback-Leibler diverjans yakın bir geometri eksik ve metrik ilişkili olsa ilgilidir.

Ve Fisher bilgi matrisinin Shannon entropisinin Hessili olarak yorumlanabileceğini belirtmek ilginçtir :

g_{i j} (θ) = - E [\frac{\partial^{2} \log p (x; θ)}{\partial θ_{i} \partial θ_{j}}] = \frac{\partial^{2} H (p)}{\partial θ_{i} \partial θ_{j}}

$g_{ij}(\theta)=-E\left[ \frac{\partial^2\log p(x;\theta)}{\partial \theta_i \partial\theta_j} \right]=\frac{\partial^2 H(p)}{\partial \theta_i \partial \theta_j}$

ile

H (p) = - \int p (x; θ) \log p (x; θ) d x .

$H(p) = -\int p(x;\theta)\,\log p(x;\theta) \mathrm dx.$

Bu örnek kavram olarak daha yaygın stereografik Dünya haritasına benzer .

ML çok boyutlu gömme veya manifold öğrenme burada ele alınmamıştır.

— Antoni Parellada
kaynak

Olasılıkları geometri ile ilişkilendirmenin birden fazla yolu vardır. Eminim eliptik dağılımları duymuşsunuzdur (örneğin Gaussian). Terimin kendisi geometri bağlantısını ifade eder ve kovaryans matrisini çizdiğinizde açıktır . Manifoldlar ile, sadece mümkün olan her parametre değerini koordinat sistemine yerleştirir. Örneğin, bir Gauss Manifoldu iki boyutta olacaktır: . değerine sahip olabilirsiniz, ancak yalnızca pozitif varyanslar . Bu nedenle, Gauss manifoldu tüm alanının yarısı olacaktır . O kadar ilginç değil $\mu,\sigma^2$ $\mu\in R$ $\sigma^2>0$ $R^2$

— Aksakal
kaynak

Sanırım bir "manifold" un gömme alanından daha düşük bir boyut olması gerektiğini düşündüm. Yani bir yarım boşluk sayılmaz mı?

— GeoMatt22

Gaussian ile bu bir manifold bile değil, değil mi? Kısıtlamalara ihtiyacınız var, bu yüzden bir tür uçak veya çizgi haline geliyor

— Aksakal

Sana "demek oluyor bu ... Cevabınızı etkilerini anlamaya çalışıyorum bir geometri bağlantısını"? Ayrıca, MathOverflow ile ilgili yazıyı buldum .

— Antoni Parellada

Fisher-Rao gibi uygun bir metrikle daha ilginç hale gelir ve daha sonra Poincare hiperbolik yarı yer en.wikipedia.org/wiki/Poincar%C3%A9_half-plane_model olur

— mic

Herkes için: (1) parametrik aileleri tanımlayan manifoldlar içsel manifoldlardır: herhangi bir vektör uzayda gömülmeleri gerekmez. (2) Bunlar sadece farklılaştırılabilir manifoldlardan daha fazlasıdır: Fisher Information , onlara geometrik bir şekilde çalışılmalarını sağlayan bir Riemann metriğine ( yerel bir mesafe) sahiptir. Bu, "tüm boşluğunun yarısını " kavisli bir yüzeye dönüştürür.

R^{2}

$\mathbb{R}^2$

— whuber