Mesafeleri ve hacimleri tanımlamak için bilgi geometrisini kullanmak… faydalı mı?

13

Olasılık dağılımları alanında Fisher's Information metriğini doğal bir yerel metrik olarak kullanmayı ve daha sonra mesafeleri ve hacimleri tanımlamak için entegre etmeyi savunan geniş bir literatüre rastladım .

Peki bu "entegre" miktarlar aslında herhangi bir şey için yararlı mıdır? Hiçbir teorik gerekçe ve çok az pratik uygulama bulamadım. Bir adam Lübnan'ın olan eser diye sınıflandırmak belgelere "Fisher'in mesafe" kullanır ve başka bir Rodriguez'in' olduğu Modeli Seçimi ... ABC 'Fisher'in hacmi' modeli seçimi için kullanılır. Görünüşe göre, "bilgi hacmi" kullanmak model seçimi için AIC ve BIC üzerinde "büyüklük emirleri" iyileştirme verir, ancak bu çalışma üzerinde herhangi bir takip görmedim.

Teorik bir gerekçe, bu mesafe veya hacim ölçüsünü kullanan ve MDL veya asimptotik argümanlardan türetilen sınırlardan daha iyi olan bir genelleme sınırına sahip olmak veya makul bir şekilde pratik bazı durumlarda makul olarak daha iyi olan bu miktarlardan birine dayanan bir yöntem olabilir. Bu tür bir sonuç var mı?

model-selection information-geometry

— Yaroslav Bulatov
kaynak

Fisher bilgisi parametre tahmininde alt sınır verir. Bu doğal bir metriktir çünkü kabaca "bu yönde sorunumun zorluğu bundan daha fazla azalamaz" gibi bir şey söylüyor. Genelleme sınırları üst sınırlar mı? Fisher metriğini (bahsettiğiniz büyük gövde iyi bir liste) kullanan yöntemin performansını bilmek ister misiniz? üzgünüm ama soruyu gerçekten anlamadım :) bu noktayı yeniden formüle edebilir misiniz?

— robin girard

Fisher'in Bilgi Matrisinin Riemann metrik tensörünü verdiğini varsayalım. Birleştirerek herhangi bir eğrinin genişliğini bulmamızı sağlar. Daha sonra p ve q arasındaki mesafeyi, p ve q bağlayan tüm eğriler üzerindeki en küçük yay uzunluğu olarak tanımlarsınız. Bu, sorduğum mesafe ölçüsü. Hacim ile aynı.

— Yaroslav Bulatov

1

Yani, örnek olarak, Rodriguez model karmaşıklığının bir ölçüsü olarak "bilgi hacmi" kullanarak önemli bir gelişme elde etti, ancak şaşırtıcı bir şekilde bunu deneyen başka kimseyi göremiyorum

— Yaroslav Bulatov

5

Geçtiğimiz hafta Kraliyet İstatistik Derneği'nde Riemann manifoldları üzerinde MCMC teknikleri hakkında, öncelikle Fisher bilgi metriğini kullanarak bir okuma belgesi vardı: http://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting

Her ne kadar yazarların belirttiği gibi, birçok ilgi modelinde (karışım modelleri gibi) Fisher bilgisinin analitik bir formu yok, sonuçlar umut verici görünüyor.

— Simon Byrne
kaynak

1

Bu "Riemann manifoldu Langevin" yazısı mı? Fisher bilgisini bir noktada birleştiriyor musunuz?

— Yaroslav Bulatov

4

En iyi bilinen argüman, dönüşümleri koordine etmek için değişmeyen balıkçı metriğinin, bilgisiz bir önceliği formüle etmek için kullanılabileceğidir (Jeffreys öncesi). Satın aldığımdan emin değilim!

Daha az bilinen, bazen bu "bütünleşik miktarların" ıraksamalara dönüştüğü ve bu şekilde, balıkçı mesafelerinin genelleştirilmiş bir ıraksamalar kümesi (ve bunların özellikleri) ürettiği iddia edilebilir.

Ama yine de, balıkçı bilgilerinin ve ürettiği miktarların iyi bir sezgisel tanımını bulamıyorum. Lütfen bulursan bana söyle.

— Lucas
kaynak

Fisher Information hakkında çok şey biliniyor, emin olmadığım balıkçı bilgilerinin integralleri. Fisher Information'ın entegrasyon konusunda bilinen bir sapmaya dönüştüğünü bilmiyorum

— Yaroslav Bulatov

4

"Takip yok" olmasının nedeni, çok az insanın yıllar boyunca Rodriguez'in çalışmalarını anlamasıdır. Bu önemli şeyler ve gelecekte daha fazlasını göreceğiz.

Bununla birlikte, bazı Fisher mt sadece 2. sıra gerçek ölçümün (örneğin yaklaşma olduğu yönündedir entropik önsel oluşturma konusunda Neumann kağıt arasında ZELLNER formüle hangi yol açar aslında (ya da bunun bir genelleme) Kullback-Liebler mesafe tarafından tanımlanır) ve MDI öncelikleri.

— Michael
kaynak