Gauss Proses Regresyonunda Hiperparametre Ayarı

\log (y | X, θ) = - \frac{1}{2} y^{T} K_{y}^{- 1} y - \frac{1}{2} \log (det (K)) - \frac{n}{2} \log (2 π)

$\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2} \mathbf{y}^TK_y^{-1}\mathbf{y}-\frac{1}{2}\log(\det(K))-\frac{n}{2}\log(2\pi)$

K

$K$

K_{i j} = k (x_{i}, x_{j}) = b^{- 1} \exp (- \frac{1}{2} (x_{i} - x_{j})^{T} M (x_{i} - x_{j})) + a^{- 1} δ_{i j}

$K_{ij}=k(x_i,x_j)=b^{-1}\exp(-\frac{1}{2}(x_i-x_j)^TM(x_i-x_j))+a^{-1}\delta_{ij}$

M = l I

$M=lI$

a, b

$a,b$

l

$l$

log marjinal olabilirlik wrt parametrelerinin kısmi türevi aşağıdaki

\frac{\log (y | X, θ)}{d θ} = \frac{1}{2} t r a c e (K^{- 1} \frac{d K}{d θ}) + \frac{1}{2} (y \frac{d K}{d θ} K^{- 1} \frac{d K}{d θ} y)

$\frac{\log(\mathbf{y}|X,\mathbf{\theta})}{d\theta}=\frac{1}{2}\mathrm{trace}(K^{-1}\frac{dK}{d\theta})+\frac{1}{2}(\mathbf{y}\frac{dK}{d\theta}K^{-1}\frac{dK}{d\theta}\mathbf{y})$

girişleri parametrelere bağlı olduğundan, türevler ve tersi de geçerlidir . Bu, gradyan tabanlı bir optimize edici kullanıldığında, gradyanın belirli bir noktada (parametre değeri) değerlendirilmesi, kovaryans matrisinin yeniden hesaplanmasını gerektireceği anlamına gelir. Benim uygulamada, bu mümkün değildir çünkü kovaryans matrisini sıfırdan hesaplamak ve gradyan yükselişinin her tekrarında tersini hesaplamak çok pahalı. Sorum şu, bu üç parametrenin oldukça iyi bir kombinasyonunu bulmak için seçeneklerim nelerdir? ve ilk önce hangi parametrenin optimize edileceğini de bilmiyorum ve bu konuda da herhangi bir göstergeyi takdir ediyorum. $K$ $K$

— bfaskiplar
kaynak

Ben mütevazı boyutta veri kümeleri için GP hiper parametrelerini örneklemek için HMC kullanarak başarılı oldum.

— Sycorax, Reinstate Monica

Merhaba @Sycorax, bu sorunu çözmek için bu tekniği nasıl kullandığınızı söyleyebilir misiniz? OP ile aynı soruna sahibim ve bunu çözmek için MCMC'yi kullanmayı düşünüyordum ama bunu nasıl yapacağımı henüz bilmiyorum.

— Willian Fuks

Stan'daki GP'yi yeni kodladım. GP hiperparametreleri modelin parametreleri olarak bildirildi ve buna göre çıkartıldı. Bu, her HMC yinelemesi için bir dizi tahmin üretti. Gelman bunların hepsinin BDA3'te

— Sycorax, Monica

Gradyan yükselişinin her yinelemesinde yeni bir kovaryans matris hesaplamasına ihtiyacınız var. Matris hesaplaması ayarınız için uygun değilse, bence degrade tabanlı marjinal olasılık optimizasyonunu kullanamazsınız.

Benim önerim, ızgara arama, rasgele arama veya Bayes optimizasyon tabanlı arama gibi hiperparametre ayarı için gradyan içermeyen yöntemler kullanmaktır . Bu yöntemler, SVM'ler gibi diğer makine öğrenme algoritmalarının hiperparametrelerinin optimizasyonu için yaygın olarak kullanılmaktadır.

İlk denemeniz için ızgara aramasını öneririm . Temel olarak olası hiperparametrelerin bir tablosunu (ızgarasını) oluşturur, her birini dener ve en iyi doğrulama performansını (veya en iyi marjinal olasılığı) ararsınız.

Izgara araması, en düşük hiperparametreler kümesini verir ve ızgarayı kendiniz belirtmeniz gerekir. (İpucu: günlük ölçeğinde ızgara yapın) ancak çok daha az hesaplama gerekir. (ve degradeye ihtiyacınız yok!)

Izgara aramasını bilmiyorsanız Wikipedia'ya bakabilirsiniz : Hiperparametre Optimizasyonu - Izgara Arama

— Sangwoong Yoon
kaynak