Gauss süreci regresyon oyuncak sorunu

Gauss Süreci regresyonu için bazı sezgi kazanmaya çalışıyordum, bu yüzden denemek için basit bir 1D oyuncak problemi yaptım. I aldı girdi olarak ve yanıt olarak. ( 'İlham Alındı' ) $x_i=\{1,2,3\}$ $y_i=\{1,4,9\}$ $y=x^2$

Regresyon için standart bir kare üstel çekirdek fonksiyonu kullandım:

k (x_{p}, x_{q}) = σ_{f}^{2} tecrübe (- \frac{1}{2 l^{2}} {| x_{p} - x_{q} |}^{2})

$k(x_p,x_q)=\sigma_f^2 \exp \left( - \frac{1}{2l^2} \left|x_p-x_q\right|^2 \right)$

Standart sapma ile gürültü olduğunu , böylece kovaryans matrisi oldu: $\sigma_n$

K_{p q} = k (x_{p}, x_{q}) + σ_{n}^{2} δ_{p q}

$K_{pq} = k(x_p,x_q) + \sigma_n^2 \delta_{pq}$

Hiperparametreler verilerin günlük olasılığını en üst düzeye çıkararak tahmin edildi. noktasında bir tahmin yapmak için , ortalama ve varyansı sırasıyla aşağıdaki şekilde buldum $(\sigma_n,l,\sigma_f)$ $x_\star$

μ_{x_{⋆}} = k_{⋆}^{T} (K + σ_{n}^{2} ben)^{- 1} y

$\mu_{x_\star} = k_\star^T (\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} y$

σ_{x_{⋆}}^{2} = k (x_{⋆}, x_{⋆}) - k_{⋆}^{T} (K + σ_{n}^{2} ben)^{- 1} k_{⋆}

$\sigma_{x_\star}^2 = k(x_\star,x_\star)-k_\star^T(\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} k_\star$

burada arasındaki kovaryans vektörüdür ve girdi ve çıktıların bir vektördür. $k_\star$ $x_\star$ $y$

sonuçlarım aşağıda gösterilmiştir. Mavi çizgi ortalama ve kırmızı çizgiler standart sapma aralıklarını gösterir. $1<x<3$

Sonuçlar

Bunun doğru olup olmadığından emin değilim; Girişlerim ('X' ile işaretlenmiş) mavi çizgi üzerinde değil. Gördüğüm çoğu örnek, girdilerle kesişen ortalamaya sahiptir. Bu beklenen genel bir özellik midir?

regression gaussian-process

— Comp_Warrior
kaynak

Tahmin etmek zorunda kalsaydım, baktığınız örneklerde artık bir hata yoktu. Bu durumda çizgi tüm noktalardan geçecektir.

— adam

@ Doğru satın alın.

Yanıtlar:

Veri noktalarından geçen ortalama fonksiyon genellikle aşırı uydurmanın bir göstergesidir. Marjinal olasılığı en üst düzeye çıkararak hiper parametrelerini optimize etmek, daha karmaşık bir şeyi haklı çıkarmak için yeterli veri olmadığı sürece çok basit modelleri tercih etme eğilimindedir. Az gürültülü bir çizgide az çok üç veri noktanız olduğu için bulunan model benim için oldukça makul görünüyor. Esasen veriler, orta düzeyde gürültülü doğrusal bir altta yatan işlev ya da az gürültülü orta derecede doğrusal olmayan bir altta yatan işlev olarak açıklanabilir. Birincisi iki hipotezden daha basittir ve "Occam'ın usturası" tarafından tercih edilir.

— Dikran Keseli
kaynak

Giriş için teşekkürler. Bana "fazla uydurma" hakkında daha fazla bilgi verebilir misiniz? olumlu / olumsuz bir özellik mi?

— Comp_Warrior

aşırı uydurma olumsuz bir şeydir, temel olarak modelin verilerdeki rastgele varyasyonu ezberlediği anlamına gelir ve bu da genelleme performansını daha da kötüleştirir. İdeal olarak, modelin, verileri kirleten gürültüyü göz ardı ederken verilerin temel formunu öğrenmesini istersiniz. En iyi makine öğrenimi ders kitapları, bunu erken bir bölümde ele alacaktır.

— Dikran Marsupial

sadece ilgisiz, neden downvote?

— Dikran Marsupial

Seni küçümsemedim; Aslında ben iptal ettim!

— Comp_Warrior

Sorun değil Comp_Warrior, bunun sen olduğunu düşünmedim, ama birisi cevabımı küçümsedi ve neden olduğu hakkında geri bildirim almaktan mutluluk duyacağım. Hepimiz hata yapabiliriz ve cevabımda yanlış bir şey olursa, düzeltmeye hevesliyim.

— Dikran Marsupial

Kriging tahmincilerini bir gürültü terimi (Gauss süreç literatüründe külçe etkisi olarak bilinir) ekleyerek kullanıyorsunuz. Gürültü terimi sıfıra ayarlanmışsa, yani,

σ_{n}^{2} δ_{p q} = 0

$\sigma^2_n \delta_{pq}=0$

tahminleriniz bir enterpolasyon görevi görür ve örnek veri noktalarından geçer.

Bu bana iyi görünüyor, Rasmussen'ın GP kitabında kesinlikle ortalama fonksiyonun her veri noktasından geçmediği örnekleri gösteriyor. Regresyon çizgisinin temel alınan işlev için bir tahmin olduğunu ve gözlemlerin temel işlev değerleri artı bir miktar gürültü olduğunu varsayıyoruz. Eğer regresyon çizgisi her üç noktayı da temel alıyorsa, esasen gözlemlenen değerlerde gürültü olmadığını söyler.

ayarını ve yalnızca diğer hiper parametrelerini optimize ederek gürültü varsayımını . $\sigma_n = 0$

Ayrıca hiper-parametrenin nispeten sığ bir değere ayarlandığından ve çok sığ bir fonksiyon verdiğinden şüpheleniyorum . $l$

çeşitli küçük değerlerde sabit tutmayı deneyebilir ve bunun eğriyi nasıl değiştirdiğini görebilirsiniz. Belki de i biraz daha küçük olmaya zorladıysanız, regresyon çizgisi tüm veri noktalarından geçecektir. $l$ $l$

Dikran Marsupial tarafından belirtildiği gibi, bu Gauss Süreçlerinin yerleşik bir özelliğidir, marjinal olasılık çok spesifik olan modelleri cezalandırır ve birçok veri kümesini açıklayabilenleri tercih eder.

— Max S.
kaynak