Manifold varsayımının doğru olduğunu nasıl kanıtlayabilirim?

Makine öğrenmesinde, genellikle bir veri kümesinin düzgün bir düşük boyutlu manifoldda (manifold varsayımı) olduğu varsayılır, ancak belirli koşulların karşılandığını varsaymanın herhangi bir yolu vardır, o zaman veri kümesi gerçekten (yaklaşık olarak) üretilir boyutlu pürüzsüz bir manifolddan?

Örneğin, bir veri sekansı verilen burada (farklı açılarla ön görüntü sırasını ki) ve karşılık gelen bir etiket dizisi ; burada (yüz dizisinin açılarını söyleyin). ve çok yakın olduğunda, ve etiketlerinin de çok yakın olduğunu varsayalım ,$\{\mathbf{X}_1 \ldots \mathbf{X}_n\}$$\mathbf X_i \in \mathbb{R}^d$$\{ y_1 \ldots y_n\}$$y_1 \preceq y_2 \ldots \preceq y_n$$X_i$$X_{i+1}$$y_i$$y_{i+1}$$\{\mathbf{X}_1 \ldots \mathbf{X}_n\}$düşük boyutlu bir manifold üzerinde uzanır. Bu doğru mu? Eğer öyleyse, bunu nasıl kanıtlayabiliriz? Veya sıralamanın, manifold varsayımının doğru olduğu kanıtlanabilmesi için hangi koşulları karşılaması gerekir?

"Manifold varsayımı" nın pek çok hesabına bakarak, birçok yazarın anlamında özellikle özensiz olduğu hemen anlaşılır. Daha dikkatli olanlar bunu ince ama son derece önemli bir uyarı ile tanımlar : verilerin düşük boyutlu bir manifoldda veya ona yakın olması .

Onların uygulamaları nedeniyle Hatta "ya yakın" include etmeyenler fıkra açıkça matematiksel analizini gerçekleştirmek için uygun yaklaşık bir kurgu olarak manifoldu varsayımını kabul edilmelidir veri ve tahmini manifoldu arasındaki sapmaları düşünmek. Aslında, birçok yazar daha sonra bu gerilemesinin tasarladığı olarak sapmalar için açık bir mekanizma sunmak karşı burada isimli kısıtlanmış yalan üzerinde bir manifold , ancak içerebilir rastgele sapmalar. Bu varsayarak eşdeğer olduğunu küpe yalan yakın$y$$\mathrm x$$\mathrm x$$M^k\subset \mathbb{R}^d$ $y$$(\mathrm x_i, y_i)$formun içine daldırılmış bir -boyutlu manifolduna$k$

bazı düz (regresyon) fonksiyonlar için . Sadece (a boyutlu bir manifold) grafiğine yakın olan tüm sapık noktaları , üzerinde boyutlu manifoldu , bu teoride önemsiz olabilir "yakın" dan "açık" ayırt hakkında neden böyle ıslaklık açıklamaya yardımcı olur.$f:\mathbb{R}^d\to \mathbb{R}$$(\mathrm x,y)=(\mathrm x,f(\mathrm x)+\varepsilon)$$f$$k$$k+1$$M^k\times \mathbb R$

"Açık" ve "yakın" arasındaki fark uygulamalar için son derece önemlidir. "Yakın", verilerin manifolddan sapmasına izin verir. Bu nedenle, bu manifoldu tahmin etmeyi seçerseniz, veriler ve manifold arasındaki tipik sapma miktarı ölçülebilir. Takılan bir manifold, tipik sapma miktarı daha az olduğunda ceteris paribus olduğunda diğerinden daha iyi olacaktır .

Şekil, veriler için manifold varsayımının iki versiyonunu göstermektedir (büyük mavi noktalar): siyah manifold nispeten basittir (tanımlanması için sadece dört parametre gerektirir), ancak kırmızı noktalı manifold verilere uyurken sadece "yakın" gelir ancak karmaşıktır (17 parametreye ihtiyaç vardır).

Tüm bu problemlerde olduğu gibi, manifoldu tanımlamanın karmaşıklığı ile uyum iyiliği (aşırı uyum sorunu) arasında bir denge vardır. Her zaman tek boyutlu bir manifoldun içindeki herhangi bir sonlu veri miktarına mükemmel şekilde uyduğu bulunur (şekilde kırmızı noktalı manifoldda olduğu gibi, tüm noktalarda düzgün bir eğri çalıştırın , herhangi bir sırayla: neredeyse kesin olarak kendini kesmeyecektir, ancak eğer yaparsa, ortadan kaldırmak için bu tür bir kavşağın mahallesindeki eğriyi bozar). Diğer uçta, sadece sınırlı bir manifold sınıfına izin verilirse (sadece düz Öklid hiperplanları gibi), boyutlardan bağımsız olarak iyi bir uyum imkansız olabilir ve veriler ile uyum arasındaki tipik sapma büyük olabilir.$\mathbb{R}^d$

Bu, manifold varsayımını değerlendirmenin basit ve pratik bir yoluna yol açar: manifold varsayımından geliştirilen model / tahminci / sınıflandırıcı kabul edilebilir derecede iyi çalışıyorsa, varsayım haklı çıkarıldı. Bu nedenle, soruda aranan uygun koşullar , uygunluk iyiliği ölçüsünün kabul edilebilir derecede küçük olması olacaktır. (Hangi önlem? Soruna bağlıdır ve bir kayıp fonksiyonu seçmekle eşdeğerdir.)

Farklı boyuttaki manifoldların (eğriliğindeki farklı kısıtlama türleriyle) verilere sığabilmesi ve uzaktaki verileri tahmin etmesinin eşit derecede iyi olması mümkündür. Özellikle büyük, dağınık, insan veri kümeleriyle çalışırken genel olarak "altta yatan" manifold hakkında "kanıtlanmış" hiçbir şey kanıtlanamaz . Genellikle ümit edebileceğimiz tek şey, monte edilen manifoldun iyi bir model olmasıdır.

İyi bir model / öngörücü / sınıflandırıcı bulmazsanız, ya manifold varsayımı geçersizdir, çok küçük bir boyuta sahip manifoldlar varsayıyorsunuz ya da yeterince sert ya da yeterince iyi görünmüyorsunuz.

Herhangi bir sonlu nokta kümesi herhangi bir manifolda sığabilir (teorem referansı gerekli, teoremin ne olduğunu hatırlayamıyorum, sadece bu gerçeği uni'den hatırlıyorum).

Biri tüm noktaların tanımlanmasını istemiyorsa, mümkün olan en düşük boyut 1'dir.

Basit bir örnek olarak, N 2d noktaları göz önüne alındığında, tüm N noktalarının bu polinomda bulunduğu bazı N - 1 derece polinomları vardır. Bu nedenle, herhangi bir 2d veri kümesi için bir 1d manifoldumuz var. Bence keyfi boyutlar için mantık benzer.

Yani, mesele bu değil, gerçek varsayımlar, özellikle bağlı Riemann manifoldlarını metrik uzaylar olarak tedavi ederken manifoldun yapısı / basitliği üzerindedir. Bu manifold hokus pokusuyla ilgili kağıtları okudum ve dikkatlice okuduysanız bazı oldukça büyük varsayımlar ortaya çıktı!

Yapılan varsayımlar, uyarlanmış "yakınlık" tanımının "veri setimizdeki bilgileri koruduğu" varsayıldığı, ancak bu bilgi Kuramsal terimlerle resmen tanımlanmadığı için, ortaya çıkan tanım oldukça ad hoc ve aslında oldukça büyük bir varsayımdır. Özellikle sorun "yakınlık" korunur, yani iki yakın nokta, yakın dur, ama bu "farness" değildir ve bu yüzden iki "uzak" nokta uzak durmaz.

Sonuç olarak , veri kümesinin gerçekten doğal olarak öklid olmadığı, örneğin görsel örüntü tanıma olmadığı sürece , makine öğreniminde böyle bir hile yapmaya çok dikkat ediyorum . Bu yaklaşımları daha genel problemler için uygun bulmuyorum.