Fonksiyonlar üzerinden dağılım nedir?

16

CE Rasmussen ve CKI Williams'ın Makine Öğrenimi için Gauss Süreci ders kitabı okuyorum ve işlevler üzerindeki dağılımın ne anlama geldiğini anlamakta biraz sorun yaşıyorum . Ders kitabında, bir fonksiyonun çok uzun bir vektör olarak hayal edilmesi gerektiği bir örnek verilmiştir (aslında, sonsuza kadar uzun olmalı?). Bu yüzden fonksiyonlar üzerinde bir dağılımın, bu vektör değerlerinin "üstünde" çizilmiş bir olasılık dağılımı olduğunu hayal ediyorum. O zaman bir fonksiyonun bu belirli değeri alması ihtimali olabilir mi? Yoksa bir fonksiyonun belirli bir aralıktaki bir değeri alması ihtimali olabilir mi? Yoksa fonksiyonlar arasındaki dağılım bütün bir fonksiyona atanmış bir olasılık mıdır?

Ders kitabından alıntılar:

Bölüm 1: Giriş, Sayfa 2

Gauss süreci Gauss olasılık dağılımının genelleştirilmesidir. Bir olasılık dağılımı, skaler veya vektörler (çok değişkenli dağılımlar için) olan rasgele değişkenleri açıklarken, stokastik bir süreç fonksiyonların özelliklerini yönetir. Matematiksel karmaşıklığı bir kenara bırakarak, bir işlevi çok uzun bir vektör olarak gevşek bir şekilde düşünebilirsiniz, vektördeki her giriş belirli bir x girişindeki f (x) fonksiyon değerini belirtir. Görünen o ki, bu fikir biraz saf olsa da, ihtiyacımız olan şey şaşırtıcı derecede yakın. Gerçekten de, bu sonsuz boyutlu nesnelerle hesaplamalı olarak nasıl başa çıkacağımız sorusu, akla gelebilecek en hoş çözünürlüğe sahiptir: yalnızca sınırlı sayıda noktada fonksiyonun özelliklerini sorarsanız,

Bölüm 2: Regresyon, Sayfa 7

Gauss süreç (GP) regresyon modellerini yorumlamanın birkaç yolu vardır. Bir Gauss süreci, fonksiyonlar üzerinde bir dağılım ve doğrudan fonksiyonlar alanında, fonksiyon-uzay görünümünde gerçekleşen çıkarımları tanımlamak olarak düşünülebilir.

İlk sorudan:

Bu kavramsal resmi kendim için görselleştirmeye çalıştım. Kendim için yaptığım böyle bir açıklamanın doğru olup olmadığından emin değilim.

Güncellemeden sonra:

Gijs'in cevabından sonra resmi kavramsal olarak bunun gibi bir şey olacak şekilde güncelledim:

distributions gaussian-process

— camillejr
kaynak

3

sezgisel açıklama için bu göz atın jgoertler.com/visual-exploration-gaussian-processes

— bicepjai

12

$\mathbb{R}$ $\mathbb{R}^2$ $\mathbb{R}^n$ $\mathbb{R}^n$

İşlevlerin alanını büyük bir işlev koleksiyonu olarak düşünebilirsiniz, belki de isterseniz bir çanta. Buradaki dağıtım, size bu şeylerin bir alt kümesini çizme olasılıklarını verir. Dağıtım şunu söyleyecektir: Bir sonraki çekişinizin (bir işlevin) bu alt kümede olma olasılığı, örneğin% 10'dur. İki boyuttaki işlevler üzerinde bir Gauss işlemi söz konusu olduğunda, bir xkoordinat ve aralıky-değerler, bu küçük bir dikey çizgi segmentidir, (rasgele) bir fonksiyonun bu küçük çizgiden geçme olasılığı nedir? Bu olumlu bir olasılık olacak. Böylece Gauss işlemi, bir işlev alanı üzerinden bir dağılım (olasılık) belirler. Bu örnekte, işlevler alanının alt kümesi, çizgi parçasından geçen alt kümedir.

$\mathbb{R}$

— Gijs
kaynak

1

Teşekkürler, açıklığa kavuşturmak için, bu bir fonksiyonun değerleri üzerinde bir dağılım değil, bir fonksiyonlar topluluğu üzerinde bir dağılım, değil mi? Bir sorum daha var: bunun rasgele bir fonksiyonun belirli bir aralıktan geçme olasılığı olacağını söylediniz, bu yüzden GPR örneğinde, rasgele bir fonksiyon olurdu, ancak verilen fonksiyonların belirli bir "ailesinden" kovaryans çekirdeği?

— camillejr

2

Evet, bir işlevler topluluğu üzerinden yapılan bir dağıtımdır. Bir Gaussian süreciniz varsa, bir aralığın geçilmesi örneği geçerlidir. Kovaryans çekirdeği aslında bir Gauss süreci belirleyecektir. Dolayısıyla, bir kovaryans çekirdeği biliyorsanız, belirli bir aralıktan geçen rastgele bir işlevin olasılığını hesaplayabilirsiniz.

— Gijs

@Gijs Eğer bir göz atın lütfen olabilir bu , ben kovaryans matrisinin ve ne kadar farklı korelasyon terimler hala GP benzer çıkışı neden üzerinde sezgi arıyorum

— GENIVI-ÖĞRENCİ

14

Mathematics SE sitesinde sorunuz daha önce sorulmuş ve güzel bir şekilde yanıtlanmıştır:

/math/2297424/extending-a-distribution-over-samples-to-a-distribution-over-functions

Sonsuz boyutlu uzaylar , lineer fonksiyoneller, ileriye dönük önlemler vb. Üzerindeki Gauss önlemlerinin kavramlarına aşina olmadığınız anlaşılıyor, bu yüzden mümkün olduğunca basit tutmaya çalışacağım.

$L^2([0,1])$ $I=[0,1]$ $\mathbb{R}$ $\mathbb{R}^n$ $L^2$

Bununla birlikte, Kolmogorov genişleme teoremine dayanan basit bir "hile" de vardır , bu da temel olarak ölçüt teorik olmayan olasılık derslerinin çoğunda stokastik süreçlerin tanıtılmasının yoludur. Şimdi çok dalgalı ve titiz olacağım ve kendimi Gauss süreçleriyle sınırlayacağım. Daha genel bir tanım istiyorsanız, yukarıdaki cevabı okuyabilir veya Wikipedia bağlantısına bakabilirsiniz. Özel kullanım durumunuza uygulanan Kolmogorov genişletme teoremi aşağıdakileri aşağı yukarı belirtmektedir:

$S_n=\{ t_1, \dots ,t_n\} \subset I$ $\mathbf{x}_n=(x(t_1),\dots,x(t_n))$
$S_n, S_m, \enspace S_n\subset S_m$ $f_{S_n}(x_1,\dots,x_n)$ $f_{S_m}(x_1,\dots,x_{n},x_{n+1},\dots,x_m)$ $f_{S_m}$ $S_m$ $S_n$ $f_{S_n}$

\int_{R^{n - m + 1}} f_{S_{m}} (x_{1}, \dots, x_{n}, x_{n + 1}, \dots, x_{m}) d x_{n + 1} \dots d x_{m} = f_{S_{n}} (x_{1}, \dots, x_{n})

$\int_{\mathbb{R}^{n-m+1}}f_{S_m}(x_1,\dots,x_{n},x_{n+1},\dots,x_m)\text{d}x_{n+1}\dots \text{d}x_m=f_{S_n}(x_1,\dots,x_n)$

$X$ $L^2$ $S_n$ $n$

Gerçek teorem daha geneldir, ama sanırım aradığınız şey budur.

— DeltaIV
kaynak