Monte Carlo örneklemesi ile bilgi entropisini tahmin edin

Bu dağılımdan örneklemenin tek pratik yolu Monte Carlo yöntemleri olduğunda, bir dağılımın bilgi entropisini tahmin etmeyi sağlayan yöntemler arıyorum.

Benim sorunum, Metropolis – Hastings örneklemesine giriş örneği olarak kullanılan standart Ising modelinden farklı değil. Bir küme üzerinde olasılık dağılımım var , yani her için var . öğeleri , Ising durumları gibi kombinatoryal niteliktedir ve çok sayıda vardır. Bu, pratikte bir bilgisayarda bu dağıtımdan örnekleme yaparken asla aynı örneği iki kez alamayacağım anlamına gelir. doğrudan hesaplanamaz (normalleştirme faktörünün bilinmemesi nedeniyle), ancak oranının hesaplanması kolaydır.$A$$p(a)$$a \in A$$a \in A$$p(a)$$p(a_1)/p(a_2)$

Bu dağılımın bilgi entropisini tahmin etmek istiyorum,

Alternatif olarak, bu dağıtım ile (ve elbette yeniden normalleştirerek) bir alt kümeyle sınırlandırılarak elde edilen entropi farkını tahmin etmek istiyorum .$a\in A_1 \subset A$

Hangi bilgilere sahip olduğunuzu anlarsam, istediğiniz şey mümkün değildir: elinizde bulunan bilgiler entropiyi belirlemek için yeterli değildir. Entropiye yaklaşmak bile yeterli değildir.

Dağıtım numune için bir yol olduğu anlaşılıyor ve oran hesaplamak için bir yol p ( bir 1 ) / s ( bir 2 ) elemanların herhangi bir çifti için bir 1 , bir 2 Eğer elde edilen örnekleme yoluyla, ancak başka bilginiz yok. Eğer öyleyse, probleminiz çözülemez.$p(\cdot)$$p(a_1)/p(a_2)$$a_1,a_2$

Özellikle, farklı entropileri olan ancak sizin için mevcut olan bilgiler kullanılarak ayırt edilemeyen bir çift dağıtım bulabiliriz. Öncelikle, büyüklüğündeki (rastgele) bir sette homojen dağılımı düşünün . Boyutta bir (rasgele) setinde homojen dağılımı aşağıdaki göz önünde 2 300 . Bunlar farklı entropilere sahiptir (200 bit vs 300 bit). Ancak, elinizde bulunan bilgiler göz önüne alındığında, bu iki dağıtımdan hangisiyle çalıştığınızı bilmenin hiçbir yolu yoktur. Özellikle, her iki durumda da, p ( a 1 ) / p ( a 2 ) oranı$2^{200}$$2^{300}$$p(a_1)/p(a_2)$her zaman tam olarak 1 olur, bu nedenle oranlar iki dağılımı birbirinden ayırmanıza yardımcı olmaz. Ve doğum günü paradoksu nedeniyle, istediğiniz kadar örnekleme yapabilirsiniz, ancak asla aynı değeri iki kez elde edemezsiniz (yaşam süreniz içinde değil, üstel olarak küçük olasılık hariç), bu nedenle örneklemeden aldığınız değerler sadece rastgele puanlar ve yararlı bilgi içermez.

Yani, sorununuzu çözmek için daha fazla bir şey bilmeniz gerekecek. Örneğin, dağılımının yapısı hakkında bir şeyler biliyorsanız , bu sorununuzu çözmenizi sağlayabilir.$p(\cdot)$

Sorunuzun (entropi tahmini ikinci bölümü için farkı dağılımları arasında) Eğer kimlik kullanmak mümkün olabilir nerede ⟨ E ⟩ ortalama enerji vardır , T sıcaklığı (o orantılıdır edilir θ içinde p α e θ e ) ve S entropisidir. Ayrıntılar için bakınız: Jaynes, E. (1957). Bilgi Kuramı ve İstatistiksel Mekanik. Fiziksel İnceleme, 106 (4), 620-630. http://doi.org/10.1103/PhysRev.106.620 .

Fikir sonra birini kullanmak olacaktır Hesaplamalı İstatistiksel Fizik literatürde mevcut yöntemler serbest enerji bulmak için (o sayfanın kenar çubuğunda bağlantılara bakın) farklar ve ardından bulmak Δ S bir fonksiyonu olarak Δ F ve Ô ⟨ E ⟩ yukarıdaki formül kullanılarak (bir alt kümesi için kısıtlama düşünebiliriz unutmayın a 1 arasında a enerji fonksiyonu değiştirerek eşdeğer olarak E bunun tamamlayıcı sonsuz olur, böylece a 1 ).$\Delta F$$\Delta S$$\Delta F$$\Delta \langle E \rangle$$A_1$$A$$E$$A_1$

İşte serbest enerjiyi hesaplamak için algoritmalara ilişkin iki ek referans:

Lelièvre, T., Rousset, M. ve Stoltz, G. (2010). Serbest Enerji Hesaplamaları. Imperial College Yayınları. http://doi.org/10.1142/9781848162488

Chipot, C. ve Pohorille, A. (2007). Serbest Enerji Hesaplamaları. (C. Chipot ve A.Pohorille, Eds.) (Cilt 86). Berlin, Heidelberg: Springer Berlin Heidelberg. http://doi.org/10.1007/978-3-540-38448-9