Örneklemeden yüksek boyutlu çıkarım problemlerinde belirsizlik tahmini?

Gradyan tabanlı optimizasyon ve genetik algoritmanın bir kombinasyonunu kullanarak log-posterior'un küresel maksimumunu bularak MAP tahminini sağlam bir şekilde gerçekleştirebileceğimiz yüksek boyutlu bir çıkarım problemi (yaklaşık 2000 model parametreleri) üzerinde çalışıyorum.

MAP tahminini bulmanın yanı sıra, model parametreleri üzerindeki belirsizlikleri biraz tahmin edebilmek istiyorum.

Log-posteriorun gradyanını parametrelere göre etkili bir şekilde hesaplayabiliyoruz, bu yüzden uzun vadeli bazı örnekleme yapmak için Hamiltonian MCMC'yi kullanmayı amaçlıyoruz, ancak şimdilik örnekleme tabanlı olmayan tahminlerle ilgileniyorum.

Bildiğim tek yaklaşım, arkada çok değişkenli normal gibi yaklaşan modda Hessian'ın tersini hesaplamaktır, ancak bu bile, böyle büyük bir sistem için mümkün değildir, çünkü $\sim 4\times10^{6}$ Hessian'ın unsurlarını eminim, tersini bulamadık.

Böyle durumlarda tipik olarak ne tür yaklaşımların kullanıldığını önerebilir mi?

Teşekkürler!

EDIT - sorun hakkında ek bilgi

Arka Plan
Bu, büyük bir fizik deneyi ile ilgili ters bir sorundur. Bazı fiziksel alanları tanımlayan bir 2D üçgen ağımız var ve model parametrelerimiz, ağın her köşesinde bu alanların fiziksel değerleridir. Kafes yaklaşık 650 köşeye sahiptir ve 3 alanı modelliyoruz, bu yüzden 2000 model parametrelerimiz geliyor.

Deneysel verilerimiz, bu alanları doğrudan ölçmeyen, ancak alanların karmaşık doğrusal olmayan işlevleri olan cihazlardan alınmıştır. Farklı enstrümanların her biri için model parametrelerini deneysel verilerin tahminleriyle eşleştiren bir ileri modele sahibiz ve tahmin ile ölçüm arasındaki bir karşılaştırma bir log-olasılık verir.

Daha sonra, tüm bu farklı enstrümanların günlük olasılıklarını özetliyoruz ve ayrıca alanlara bazı fiziksel kısıtlamalar uygulayan bazı günlük öncesi değerleri ekliyoruz.

Sonuç olarak, bu 'modelin' bir kategoriye düzgün bir şekilde düştüğünden şüpheliyim - modelin ne olduğu konusunda bir seçimimiz yok, gerçek enstrümanların deneysel verilerimizi toplaması nasıl işliyor.

Veri kümesi Veri kümesi
500x500 görüntüden oluşur ve her kamera için bir görüntü vardır, bu nedenle toplam veri noktaları 500x500x4 =$10^6$.

Hata modeli
Sorundaki tüm hataları şu anda Gausslu olarak alıyoruz. Bir noktada, sadece ekstra esneklik için student-t hata modeline geçmeye çalışabilirim, ancak işler sadece Gaussyalılarla iyi işliyor gibi görünüyor.

Olasılık örneği
Bu bir plazma fiziği denemesidir ve verilerimizin büyük çoğunluğu plazmaya, ışık spektrumunun sadece belirli kısımlarına bakmak için lenslerin önünde belirli filtrelerle işaretlenmiş kameralardan gelmektedir.

Verileri yeniden oluşturmak için iki adım vardır; önce ağdaki plazmadan gelen ışığı modellemeliyiz, o zaman ışığı bir kamera görüntüsüne geri modellemeliyiz.

Plazmadan gelen ışığın modellenmesi maalesef, alanların farklı süreçler tarafından ne kadar ışık yayıldığını söyleyen, etkili bir şekilde oran katsayılarına bağlıdır. Bu oranlar bazı pahalı sayısal modeller tarafından tahmin edilir, bu nedenle çıktılarını ızgaralarda depolamamız ve daha sonra değerleri aramak için enterpolasyon yapmamız gerekir. Rate işlevi verileri yalnızca bir kez hesaplanır - bunu kod başlatıldığında ondan bir spline oluştururuz ve daha sonra bu spline tüm fonksiyon değerlendirmeleri için kullanılır.

varsaymak $R_1$ ve $R_2$ (enterpolasyon ile değerlendirdiğimiz) oran fonksiyonları, daha sonra $i$örgünün tepe noktası $\mathcal{E}_i$ tarafından verildi

$$\mathcal{E}_i = R_1(x_i, y_i) + z_i R_2(x_i, y_i)$$ nerede $(x,y,z)$ağ üzerinde modellediğimiz 3 alan. Bir kamera görüntüsüne emisyon vektörü almak kolaydır, sadece bir matrisle çarpma$\mathbf{G}$ her bir kamera pikselinin örgünün hangi kısımlarına baktığını kodlayan

Hatalar Gaussça ​​olduğundan, bu kamera için günlük olasılığı

$$\mathcal{L} = -\frac{1}{2} (\mathbf{G}\vec{\mathcal{E}} - \vec{d})^{\top}\mathbf{\Sigma}^{-1} (\mathbf{G}\vec{\mathcal{E}} - \vec{d})$$

nerede $\vec{d}$kamera verisidir. Toplam günlük olasılığı, yukarıdaki ifadelerin 4'ünün toplamıdır, ancak hepsi oran işlevlerinin farklı sürümlerine sahip farklı kameralar için$R_1, R_2$ çünkü ışık spektrumunun farklı kısımlarına bakıyorlar.

Önceki örnek
Çeşitli miktarlarda belirli üst ve alt sınırları etkili bir şekilde belirleyen çeşitli önceliklerimiz var, ancak bunlar sorun üzerinde çok güçlü hareket etmiyor. Alanlara Laplacian tipi düzleştirmeyi etkili bir şekilde uygulayan, güçlü davranan bir öncekimiz var. Ayrıca bir Gauss formu da alır:

$$\text{log-prior} = -\frac{1}{2}\vec{x}^{\top}\mathbf{S}\vec{x} -\frac{1}{2}\vec{y}^{\top}\mathbf{S}\vec{y} -\frac{1}{2}\vec{z}^{\top}\mathbf{S}\vec{z}$$

Her şeyden önce, istatistiksel modelinizin yanlış olduğunu düşünüyorum. Gösterimlerinizi istatistikçilere daha tanıdık bir şekilde değiştiriyorum, böylece

$$\mathbf{d}=\mathbf{y}=(y_1,\dots,y_N),\ N=10^6$$

gözlem vektörünüz olun (veriler) ve

$$\begin{align} \mathbf{x}&=\boldsymbol{\theta}=(\theta_1,\dots,\theta_p) \\ \mathbf{y}&=\boldsymbol{\phi}=(\phi_1,\dots,\phi_p) \\ \mathbf{z}&=\boldsymbol{\rho}=(\rho_1,\dots,\rho_p), \ p \approx 650 \\ \end{align}$$

toplam boyuttaki parametre vektörleriniz $d=3p \approx 2000$. Sonra, doğru anladıysam, bir model var

$$\mathbf{y} = \mathbf{G}\mathbf{r_1}(\boldsymbol{\theta}, \boldsymbol{\phi})+\boldsymbol{\rho}\mathbf{G}\mathbf{r_2}(\boldsymbol{\theta}, \boldsymbol{\phi}))+\boldsymbol{\epsilon},\ \boldsymbol{\epsilon}\sim\mathcal{N}(0,I_N)$$

nerede $\mathbf{G}$ bu $N\times d$ spline enterpolasyon matrisi.

Bu kesinlikle yanlış. Aynı kameradaki görüntüdeki farklı noktalarda ve farklı kameralardaki görüntülerdeki aynı noktada hataların bağımsız olması mümkün değildir. Genelleştirilmiş en küçük kareler, semivariogram tahmini, kriging, Gaussian Süreçleri, vb. Mekansal istatistiklere ve modellere bakmalısınız.

---

Sorunuz, modelin gerçek veri oluşturma sürecinin iyi bir yaklaşımı olup olmadığı değil, böyle bir modeli nasıl tahmin edeceğinizi olmadığı için, size bunu yapmak için birkaç seçenek göstereceğim.

HMC

Bu parametreyi bir dizüstü bilgisayarda eğitmediğiniz sürece 2000 parametreleri çok büyük bir model değildir. Veri kümesi daha büyük ($10^6$veri noktaları), ancak yine de, bulut örneklerine veya GPU'lu makinelere erişiminiz varsa, Pyro veya Tensorflow Olasılığı gibi çerçeveler bu tür bir sorunu kısa sürede çözecektir . Böylece, GPU ile çalışan Hamiltonian Monte Carlo'yu kullanabilirsiniz.

Artıları : zincirden sonsuz sayıda numune sınırında "kesin" çıkarım.

Eksileri : tahmin hatası üzerinde sıkı bir sınır yok, çoklu yakınsama teşhis metrikleri var, ancak hiçbiri ideal değil.

Büyük örnek yaklaşımı

Gösterimi kötüye kullanarak, $\theta$üç parametre vektörünüzü birleştirerek elde edilen vektör. Ardından, Bayes merkezi limit teoremini (Bernstein-von Mises) kullanarak, yaklaşık$p(\theta\vert \mathbf{y})$ ile $\mathcal{N}(\hat{\theta_0}_n,I_n^{-1}(\theta_0))$, nerede $\theta_0$ "true" parametre değeridir, $\hat{\theta_0}_n$ MLE tahmini $\theta_0$ ve $I_n^{-1}(\theta_0)$ değerlendirilen Fisher bilgi matrisi $\theta_0$. Elbette,$\theta_0$ bilinmemek için kullanacağız $I_n^{-1}(\hat{\theta_0}_n)$yerine. Bernstein-von Mises teoreminin geçerliliği, burada bulabileceğiniz birkaç hipoteze bağlıdır, örneğin : sizin durumunuzda,$R_1,R_2$pürüzsüz ve farklılaştırılabilir, teorem geçerlidir, çünkü bir Gauss öncüsünün desteği tüm parametre alanıdır. Ya da daha iyisi, verileriniz aslında varsaydığınız gibi idiyse geçerli olurdu , ama başlangıçta açıkladığım gibi olduklarına inanmıyorum.

Artıları : özellikle$p<<N$durum. Iid ortamında, olasılığın pürüzsüz ve farklı olduğu ve öncekinin sıfır olmayan bir semtte sıfır olmadığı zaman doğru cevaba yaklaşması garanti edilir.$\theta_0$.

Eksileri : En büyük con, belirttiğiniz gibi, Fisher bilgi matrisini tersine çevirme ihtiyacı. Ayrıca, örneklerin çizilmesi için bir MCMC örnekleyici kullanmaktan yoksun olarak, yaklaşımın doğruluğunu ampirik olarak nasıl değerlendireceğimi bilemezdim.$p(\theta\vert \mathbf{y})$. Tabii ki, bu ilk etapta B-vM kullanmanın faydasını yenecektir.

Varyasyonel çıkarım

Bu durumda, tam olarak bulmak yerine $p(\theta\vert \mathbf{y})$ (bir hesaplamanın $d-$idimensional integral), yaklaşık olarak $p$ ile $q_{\phi}(\theta)$, nerede $q$ parametrik aileye ait $\mathcal{Q}_{\phi}$ parametre vektörü ile indekslenmiş $\phi$. Bakarız$\phi^*$ st arasındaki bazı tutarsızlık ölçüsü $q$ ve $p$minimzed. Bu önlemi KL sapması olarak seçerek, Varyasyonel Çıkarım yöntemini elde ederiz:

$$\DeclareMathOperator*{\argmin}{arg\,min} \phi^*=\argmin_{\phi\in\Phi}D_{KL}(q_{\phi}(\theta)||p(\theta\vert\mathbf{y}))$$

Requirements on $q_{\phi}(\theta)$:

• it should be differentiable with respect to $\phi$, so that we can apply methods for large scale optimization, such as Stochastic Gradient Descent, to solve the minimization problem.
• it should be flexible enough that it can approximate accurately $p(\theta\vert\mathbf{y})$ for some value of $\phi$, but also simple enough that it's easy to sample from. This is because estimating the KL divergence (our optimization objective) requires estimating an expectation w.r.t $q$.

You might choose $q_{\phi}(\theta)$ to be fully factorized, i.e., the product of $d$ univariate probability distributions:

$$q_{\phi}(\theta)=\prod_{i=1}^d q_{\phi_i}(\theta_i)$$

this is the so-called mean-field Variational Bayes method. One can prove (see, e.g., Chapter 10 of this book) that the optimal solution for each of the factors $q_{\phi_j}(\theta_j)$ is

$$\log{q_j^*(\theta_j)} = \mathbb{E}_{i\neq j}[\log{p(\mathbf{y},\theta)}] + \text{const.}$$

where $p(\mathbf{y},\theta)$ is the joint distribution of parameters and data (in your case, it's the product of your Gaussian likelihood and the Gaussian priors over the parameters) and the expectation is with respect to the other variational univariate distributions $q_1^*(\theta_1),\dots,q_{j-1}^*(\theta_{j-1}),q_{j+1}^*(\theta_{j+1}),\dots,q_{d}^*(\theta_{d})$. Of course, since the solution for one of the factors depends on all the other factors, we must apply an iterative procedure, initializing all the distributions $q_{i}(\theta_{i})$ to some initial guess and then iteratively updating them one at a time with the equation above. Note that instead of computing the expectation above as a $(d-1)-$dimensional integral, which would be prohibitive in your case where the priors and the likelihood aren't conjugate, you could use Monte Carlo estimation to approximate the expectation.

The mean-field Variational Bayes algorithm is not the only possible VI algorithm you could use: the Variational Autoencoder presented in Kingma & Welling, 2014, "Auto-encoding Variational Bayes" is an interesting alternative, where, rather than assuming a fully factorized form for $q$, and then deriving a closed-form expression for the $q_i$, $q$ is assumed to be multivariate Gaussian, but with possibly different parameters at each of the $N$ data points. To amortize the cost of inference, a neural network is used to map the input space to the variational parameters space. See the paper for a detailed description of the algorithm: VAE implementations are again available in all the major Deep Learning frameworks.

you may want to check out some of the "bayesX" software and possibly also the "inla" software. both of these are likely to have some ideas that you can try. Google it

both rely very heavily on exploiting sparsity in the parameterisation of the precision matrix (I.e conditional independence, markov type model) - and have inversion algorithms designed for this. most of the examples are based on either multi level or auto regressive guassian models. should be fairly similar to the example you posted