Arka plan ve sorun

Regresyon ve sonraki Bayes optimizasyonu (BO) için Gauss İşlemleri'ni (GP) kullanıyorum. Regresyon için, MATLAB için gpml paketini birkaç özel yapım modifikasyonla kullanıyorum, ancak sorun genel.

İki eğitim girdisi girdi alanında çok yakın olduğunda, kovaryans matrisinin pozitif olmayan bir kesin hale gelebileceği iyi bilinen bir gerçektir (bu sitede bunun hakkında birkaç soru vardır). Sonuç olarak, çeşitli GP hesaplamaları için gerekli olan kovaryans matrisinin Cholesky ayrışması sayısal hata nedeniyle başarısız olabilir. Kullandığım objektif işlevlerle BO yaparken bazı durumlarda bu oldu ve düzeltmek istiyorum.

Önerilen çözümler

Kötü koşulların hafifletilmesinde standart çözüm olan AFAIK, kovaryans matrisinin köşegenine bir sırt veya külçe eklemektir. GP regresyonu için bu, gözlem gürültüsü eklemek (veya zaten varsa arttırmak) anlamına gelir.

Çok uzak çok iyi. Ben tam çıkarım için kod modifiye gpml Choleskey çözümleme başarısız olduğunda, ben esinlenerek Frobemino norm en yakın simetrik pozitif tanımlı (SPD) matrikse kovaryans matrisi düzeltmeye çalışmadan ki bu MATLAB kodu John d'Errico tarafından. Gerekçe, orijinal matrise müdahaleyi en aza indirmektir.

Bu geçici çözüm işi yapar, ancak BO'nın performansının bazı işlevler için önemli ölçüde azaldığını fark ettim - muhtemelen algoritmanın bir alanda yakınlaştırma yapması gerektiğinde (örneğin, minimum seviyeye yaklaştığı veya uzunluk ölçekleri nedeniyle) sorunun eşit olmayan bir şekilde küçük hale gelir). Bu davranış mantıklıdır çünkü iki giriş noktası çok yaklaştığında gürültüyü etkili bir şekilde artırıyorum, ancak elbette ideal değil. Alternatif olarak, sadece sorunlu noktaları kaldırmak, ancak yine de bazen ben gerek yakın olmak giriş noktaları.

Soru

GP'nin kovaryans matrislerinin Cholesky çarpanlarına ayırımı ile ilgili sayısal sorunların yeni bir problem olduğunu düşünmüyorum, ancak sürpriz bir şekilde, gürültüyü arttırmak veya birbirine çok yakın olan noktaları kaldırmak dışında pek çok çözüm bulamadım. Öte yandan, bazı işlevlerimin oldukça kötü davrandığı doğrudur, bu yüzden belki de durumum çok tipik değildir.

Burada yararlı olabilecek herhangi bir öneri / referans var mı?

Başka bir seçenek esas olarak neden olan noktaları ortalamaktır - örneğin 1000 puan ve 50 neden sorununuz varsa, ilk 950 özdeğer / vektörü kullanarak en uygun düşük sıralı yaklaşımı alabilirsiniz. Ancak, bunu yapmak istemediğinizi söylediğiniz veri noktalarını birbirine yakın bir şekilde kaldırmak çok da uzak değildir. Ancak, titreşim ekledikçe, serbestlik derecelerini azalttığınızı unutmayın - yani her bir nokta tahmininizi daha az etkiler, bu yüzden bu daha az nokta kullanmaktan daha kötü olabilir.

Kişisel olarak düzgün olduğunu düşündüğüm bir başka seçenek de iki noktayı daha akıllıca birleştirmektir. Örneğin, 2 puan alıp bunları bir araya getirebilirsiniz, ancak bunları degrade için bir yaklaşım belirlemek için de kullanabilirsiniz. Degrade bilgilerini eklemek için çekirdeğinizden ihtiyacınız olan tek şey ve . Türevlerin genellikle gözlemleriyle bir ilişkisi yoktur, bu nedenle koşullandırma sorunlarıyla karşılaşmazsınız ve yerel bilgileri tutmazsınız.d x d x ′ k ( x , x ′$dxk(x,x')$$dxdx'k(x,x')$

Düzenle:

Yorumlara dayanarak, türev gözlemleri ekleyerek ne demek istediğimi ayrıntılandıracağımı düşündüm. Gauss çekirdeği kullanırsak (örnek olarak),

$k_{x,x'} = k(x, x') = \sigma\exp(-\frac{(x-x')^2}{l^2})$

türevleri,

$k_{dx,x'} =\frac{dk(x, x')}{dx} = - \frac{2(x-x')}{l^2} \sigma\exp(-\frac{(x-x')^2}{l^2})$

$k_{dx,dx'} =\frac{d^2k(x, x')}{dxdx'} = 2 \frac{l^2 - 2(x-x')}{l^4} \sigma\exp(-\frac{(x-x')^2}{l^2})$

Şimdi bir veri noktamız olduğunu varsayalım ve bir türev arayacağım .$\{x_i, y_i ; i = 1,...,n \}$$x_1$$m_1$

Let , o zaman en kovaryans matrisi ile bir tek standart GP kullanımı$Y = [m_1, y_1, \dots, y_n]$

$K = \left( \begin{array}{cccc} k_{dx_0,dx_0} & k_{dx_0,x_0} & \dots & k_{dx_0,x_n} \\ k_{dx_0,x_0} & k_{x_0,x_0} & \dots & k_{x_0,x_n} \\ \vdots & \vdots & \ddots & \vdots \\ k_{dx_0,x_n} & k_{x_0,x_n} & \dots & k_{x_n,x_n} \end{array} \right)$

GP'nin geri kalanı her zamanki gibi.

Ofiste attığımız bir çözüm, sadece sıkıntılı noktaları değiştirmek. Bu, doğrudan silme veya daha karmaşık bir şey şeklinde olabilir. Esasen gözlem, yakın noktaların oldukça fazlalık olduğu yönündedir: aslında, o kadar fazladır ki kovaryans matrisinin sırasını azaltırlar. Aynı şekilde, bir nokta yine de eldeki soruna çok az bilgi katmaktadır, bu yüzden birini veya diğerini kaldırmak (veya bunların ortalamasını almak veya bir noktayı diğerinden en az kabul edilebilir mesafeye "sıçramak gibi) başka bir şey yapmak olacaktır. çözümünüzü gerçekten çok fazla değiştirmez.

İki noktanın hangi noktaya "çok yakın" olduğuna nasıl karar vereceğimden emin değilim. Belki de bu, kullanıcıya kalan bir ayar seçeneği olabilir.

(Hata! Bunu gönderdikten sonra, bu cevabı çok daha ayrıntılı bir çözüme ilerleten sorunuzu burada buldum . Umarım cevabımdan bağlantı kurarak SEO ile yardımcı olacağım ...)