Gauss Sürecinde gözlemleri birleştirme

Regresyon için Gauss işlemi (GP) kullanıyorum.

Benim , iki veya daha fazla veri noktasının uzunluğuna nispeten birbirine yakın olması oldukça yaygındır. sorunun ölçekleri. Ayrıca, gözlemler son derece gürültülü olabilir. Hesaplamaları hızlandırmak ve ölçüm hassasiyetini artırmak için, daha büyük uzunluktaki tahminleri önemsediğim sürece birbirine yakın nokta kümelerini birleştirmek / entegre etmek doğal görünmektedir.$\vec{x}^{(1)},\vec{x}^{(2)},\ldots$

Bunu yapmanın hızlı ama yarı ilkeli yolunun ne olduğunu merak ediyorum.

İki veri noktası mükemmel şekilde çakışıyorsa, ve gözlem gürültüsü (yani, olasılık) Gauss'lu, muhtemelen heteroskedastik ancak biliniyorsa , ilerlemenin doğal yolu onları tek bir veri noktasında birleştiriyor gibi görünüyor:$\vec{x}^{(1)} = \vec{x}^{(2)}$

• $\vec{\bar{x}} \equiv \vec{x}^{(k)}$ , .$k=1,2$

• Gözlenen değer , gözlemlenen değerlerin ortalaması olan değerlerinin ortalamasıdır: . y(1),y(2) ˉ y =σ 2 y ( → x ( 2 )$\bar{y}$$y^{(1)}, y^{(2)}$$\bar{y} = \frac{\sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(1)} + \frac{\sigma_y^2(\vec{x}^{(1)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(2)}$

• Gözlemle ilişkili gürültü: .$\sigma_y^2(\bar{x}) = \frac{\sigma_y^2(\vec{x}^{(1)}) \sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})}$

Ancak, nasıl yakın fakat iki noktayı birleştirmek gerekir değil örtüşen?

• O düşünmek hala olmalıdır ağırlıklı yine göreli güvenilirlik kullanılarak, iki pozisyon arasında ortalama. Gerekçe, bir kütle merkezi tartışmasıdır (yani, çok kesin bir gözlemi, daha az kesin gözlemlerin bir yığını olarak düşünün).$\vec{\bar{x}}$

• İçin $\bar{y}$ üzerindeki aynı formül.

• Gözlemle ilgili gürültü için, yukarıdaki formüle ek olarak gürültüye bir düzeltme terimi eklemem gerekip gerekmediğini merak ediyorum çünkü veri noktasını hareket ettiriyorum. Esasen, ve (sırasıyla, sinyal varyansı ve kovaryans fonksiyonunun uzunluk ölçeği) ile ilgili belirsizlikte bir artış elde . Bu terimin biçiminden emin değilim, ancak kovaryans işlevi göz önüne alındığında nasıl hesaplanacağı konusunda bazı belirsiz fikirlerim var.$\sigma_f^2$$\ell^2$

Devam etmeden önce, orada zaten bir şey olup olmadığını merak ettim; ve eğer bu ilerlemenin mantıklı bir yolu gibi görünüyorsa veya daha hızlı yöntemler varsa.

Literatürde bulabildiğim en yakın şey bu çalışmadır: E. Snelson ve Z. Ghahramani, Sahte girişleri kullanan Seyrek Gauss Süreçleri , NIPS '05; ancak yöntemleri (nispeten) söz konusudur, sözde girişleri bulmak için bir optimizasyon gerektirir.

Harika bir soru ve ne önerdiğiniz makul geliyor. Ancak kişisel olarak verimli olabilmek için farklı ilerlerdim. Dediğiniz gibi, yakın iki nokta çok az ek bilgi sağlar ve dolayısıyla modelin etkin serbestlik derecesi gözlemlenen veri noktalarının sayısından daha azdır. Böyle bir durumda GPML'de iyi tarif edilen Nystroms yöntemini kullanmaya değer olabilir (seyrek yaklaşımlarla ilgili bölüm http://www.gaussianprocess.org/gpml/ ). Yöntemin uygulanması çok kolaydır ve son zamanlarda Rudi ve ark. ( http://arxiv.org/abs/1507.04717 )

Ayrıca Gauss Süreci regresyonu yaparken birleştirme gözlemlerini araştırıyorum. Benim sorunumda sadece bir tane ortak değişken var.

Nystrom yaklaşımının tercih edilebilir olduğu konusunda hemfikir olduğumdan emin değilim. Özellikle, birleştirilmiş veri kümesine dayalı olarak yeterli bir tahmin bulunabilirse, hesaplamalar Nystrom yaklaşımını kullandığından daha hızlı olabilir.

Aşağıda 1000 veri noktası ve posterior GP ortalaması, birleştirilmiş kayıtlarda posterior GP ortalaması ve Nystrom yaklaşımı kullanılarak posterior GP ortalaması gösteren bazı grafikler bulunmaktadır. Kayıtlar, sıralı eş değişkenin eşit büyüklükteki kovalarına göre gruplandı. Yaklaşıklık sırası, kayıtlar birleştirilirken grup sayısı ve Nystrom yaklaşıklama sırası ile ilgilidir. Birleştirme yaklaşımı ve Nystrom yaklaşımı, yaklaşıklama sırası nokta sayısına eşit olduğunda standart GP regresyonuyla aynı sonuçları üretir.

Bu durumda, yaklaşıkların sırası 10 olduğunda, birleştirme yaklaşımı tercih edilir gibi görünür. Sıra 20 olduğunda, Nystrom yaklaşımından alınan ortalama, kesin GP posterior ortalamasından görsel olarak ayırt edilemez, ancak birleştirme gözlemlerine dayanan ortalama muhtemelen yeterince iyidir. Sipariş 5 olduğunda, her ikisi de oldukça zayıftır.