Gaussian proses modellerine neden parametrik olmayan denir?

Kafam biraz karıştı. Gauss süreçlerine neden parametrik olmayan modeller deniyor?

İşlevsel değerlerin veya bunların bir alt kümesinin, ortalama 0 olan bir Gauss değerine ve çekirdek işlevi olarak verilen kovaryans işlevine sahip olduğunu varsayıyorlar. Bu çekirdek fonksiyonlarının kendileri bazı parametrelere sahiptir (yani, hiperparametreler).

Peki neden parametrik olmayan modeller denir?

Ben her zaman yorumlarında vs. "parametrik olmayan" veya "semiparametrik" tek vasıta, whuber akılda bazı resmi tanımını (model seçmek gibi belki bir şey olduğunu muhtemel görünmektedir ne olduğu açık değildir söyleyerek bu Önsöz bazı aileden { $M_\theta$ nerede Θ ) boyutlu sonsuzdur ama, çok gayri olacağım. Bazıları parametrik olmayan bir yöntemin, kullandığınız etkili parametre sayısının verilerle arttığı bir yöntem olduğunu iddia edebilir. Videolectures.net'te Peter Orbanz'ın “parametrik olmayan” ı nasıl tanımlayacağımızla ilgili dört ya da beş farklı değerlendirme yaptığı bir video olduğunu düşünüyorum.$\{M_\theta: \theta \in \Theta\}$$\Theta$

Ben şeylerden sıralar basitlik için ben tipik bir şekilde, regresyon için Gauss süreçleri kullanarak bahsediyoruz olduğunu varsayıyoruz, aklında ne var biliyorum beri: Elimizde veri eğitim var ve biz koşullu ortalamanın E ( Y | X = x ) : = f ( x ) koşulunun modellenmesini$(Y_i, X_i), i = 1, ..., n$$E(Y|X = x) := f(x)$ . Bu geç ve belki de varsaymak şekilde kalın ε i normal IID ve dağıtılmış, ε i ~ , N ( 0 , σ 2 ) . X i tek boyutlu olacak, ama her şey daha yüksek boyutlara taşınacak.

Eğer süreklilik içinde değerler alabilirse, o zaman f ( ⋅ ) (sayılamayan) sonsuz boyutun bir parametresi olarak düşünülebilir. Dolayısıyla, sonsuz boyutun bir parametresini tahmin ediyor olmamız anlamında, sorunumuz parametrik olmayan bir problemdir. Bayesian yaklaşımının burada ve burada yüzen bazı parametrelere sahip olduğu doğrudur. Ama aslında, parametrik olmayan denir, çünkü sonsuz boyutta bir şey tahmin ediyoruz. Önceden kullandığımız GP her sürekli fonksiyonun her mahallesine kütle tahsis eder, böylece herhangi bir sürekli fonksiyonu keyfi olarak iyi tahmin edebilirler.$X_i$$f(\cdot)$

Biz görmeyi beklediklerini bazı yapı vardır varsaymak zorundayız kesinlikle umutsuz olmamak için sorun için sırayla - kovaryans işlevinde şeyler olağan frequentist tahmin ediciler içinde yumuşatma parametreleri benzer bir rol oynuyor sergi. Bayesliler bunu, Gaussian bir süreç şeklinde sürekli fonksiyonların alanını önceden kullanarak başarırlar. Bayesian açısından, yaklaşık inanç Kodladığınız f varsayılarak f örneğin-ve-bu kovaryans işlevi olan bir GP çekilir. Öncelikle , çok karmaşık olduğu için f'nin tahminlerini etkili bir şekilde cezalandırıyor .$f$$f$$f$$f$

Hesaplamalı sorunlar için düzenle

Bunların çoğu (tümü?) Rasmussen ve Williams'ın Gauss Süreci kitabında.

Hesaplamalı sorunlar, pratisyen hekimler için zor. Biz niavely devam edin ihtiyacımız olacak sadece kovaryans matrisi tutmak için boyutu, bellek ve (çıkıyor) O ( N 3 ) onu çevirin işlemleri. İşleri daha uygulanabilir hale getirmek için yapabileceğimiz birkaç şey var. Seçeneklerden biri, gerçekten ihtiyacımız olan adamın v olduğunu , çözümün ( K + σ 2 I ) v = Y olduğu ve K'nın kovaryans matrisi olduğu. Konjugat gradyanlar gibi bir yöntem tam olarak, bu çözer O ( N 3$O(N^2)$$O(N^3)$$v$$(K + \sigma^2 I)v = Y$$K$$O(N^3)$Biz, yaklaşık çözeltisi ile kendimizi karşılaması durumunda hesaplamalar, ama sonra konjugat gradyan algoritması sona olabilir adımları ve yapmak O ( k , N 2 ) hesaplamalar. Ayrıca tüm K matrisini bir kerede depolamamız gerekmez .$k$$O(kN^2)$$K$

Biz hareket ettik Yani için O ( k N 2 ) , ama bu yine de quadratically ölçekler N mutlu olmayabilir bu yüzden. Bir sonraki en iyi şey, verilerin bir alt kümesi ile yerine çalışma boyutu demek ki m ters çevrilmesi ve bir saklama burada m x m, matris çok kötü değildir. Tabii ki, sadece kalan verileri atmak istemiyoruz. Regresör alt kümesi bizim veri regresyonu olarak GP posterior ortalamasını elde ki notlar yaklaşım , Y ile N kovaryans fonksiyonu tarafından belirlenen veri-bağımlı baz fonksiyonları; bu yüzden hepsini atıyoruz$O(N^3)$$O(kN^2)$$N$$m$$m \times m$$Y$$N$Bunlardan m uzaktayız ve O ( m 2 N ) hesaplamalarıyaparız.$m$$O(m^2 N)$

Birkaç başka potansiyel seçenek var. Biz için düşük seviye yaklaşım olustursaydiniz , ve ayar K = S S , T burada Q, olduğu , n x Q ve seviye arasında q ; K + σ 2 I ters çevrilir , bu durumda bunun yerine Q T Q + σ 2 I ters çevrilerek yapılabilir . Başka bir seçenek de, kovaryans fonksiyonunun seyrek olması ve eşlenik gradyan metotlarının kullanılmasıdır - kovaryans matrisi çok seyrekse, bu durum hesaplamaları büyük ölçüde hızlandırabilir.$K$$K = QQ^T$$Q$$n \times q$$q$$K + \sigma^2 I$$Q^TQ + \sigma^2 I$

Genel olarak, Bayesian parametriklerindeki "parametrik olmayan", sonsuz sayıda (potansiyel) parametreli modelleri ifade eder. Videolectures.net'teki ( bu gibi ) konuyla ilgili bu konuda çok güzel dersler ve konferanslar var .

Spesifik olarak, Gauss Süreci (GP) parametrik olmayan olarak kabul edilir, çünkü bir GP bir işlevi temsil eder (yani sonsuz boyutlu bir vektör). Veri noktalarının sayısı arttıkça ((x, f (x)) çiftleri), 'parametre' modelinin sayısını (işlevin şeklini kısıtlayarak) yapın. Parametre sayısının, verilerin büyüklüğüne göre sabit kaldığı parametrik modelin aksine, parametrik olmayan modellerde, parametre sayısı, veri noktalarının sayısı ile birlikte artmaktadır.

The parameters that you referred to as hyperparameters are not physically motivated parameters and hence the name. They are used to solely parameterize the kernel function. To give an example, in a Gaussian kernel:

$K(x_i,x_j) = h^2 \exp(\frac{-(x_i - x_j)^2}{\lambda^2})$

the $h$ and $\lambda$ are the hyperparameters but they do not relate to quantities such as temperature, pollution concentration, etc., which you might encounter in a true parametric model.

This issue was addressed in this lecture as well, it might help to get better understanding.