Bir metriğin tüm özelliklerini koruyan bir olasılık mesafesi var mı?


13

Kullback-Leibler mesafesini incelerken, çok çabuk öğrendiğimiz iki şey vardır; ne bir üçgen eşitsizliğine ne de simetriye, bir metriğin gerekli özelliklerine saygı göstermez.

Benim sorum, bir metriğin tüm kısıtlamalarını yerine getiren herhangi bir olasılık yoğunluk fonksiyonu metriği olup olmadığıdır .


Olasılık yoğunluklarına odaklanmak "yanlış" nesneye odaklanmaktır. Metriklere gelince, "klasik" olanlar, örneğin Lévy (ve rasgele değişkenler ile ilgili Ky Fan metriği), Wasserstein ve KL'ye daha yakın olanlarla, örneğin Jensen-Shannon sapması var . Gerçi çoğunlukla o, tarihsel notu gözardı orijinal KL kağıt , KL sapma (metrik rağmen hala değil) gerçekten simetrik oldu.
kardinal

1
@cardinal, peki, bu kadar fazla değilim, lütfen "doğru" nesneyi önerebilir misiniz?
Jorge Leitao

2
JC: Üzgünüm, yorum kutusu oraya sığmaya çalıştığım her şey için çok küçük oldu. Ayrıntılarım olmalıydı. Kümülatif dağılım işlevi, daha genel ve doğal bir çalışma nesnesi olarak ortaya çıkmaktadır. :-)
kardinal

@cardinal neden? ;)
Jorge Leitao

Yanıtlar:


19

L2


2
Bu iyi bir makale - özellikle şekil 1. İleride başvurmak üzere bunun bir kopyasını saklıyorum.
Pat


1

KL diverjansında bazı metrik özelliklerin elde edilmesini sağlayan bazı değişiklikler vardır (hepsi olmasa da).

Örneğin, Jeffrey'nin ıraksaması , KL ıraksamasını simetrik hale getirmek için değiştirir.

Bazı özel durumlar vardır [1]: "Ne yazık ki, Kullback – Leibler (KL) sapmasına ve Bhattacharyya mesafesine dayanan geleneksel önlemler, birçok algoritma için gerekli tüm metrik aksiyomları karşılamamaktadır. Bu yazıda KL için bir değişiklik öneriyoruz iki ölçüyü mesafe metriklerine dönüştüren çok değişkenli Gauss yoğunlukları için ayrışma ve Bhattacharyya mesafesi. "

[1] K. Abou-Moustafa ve F. Ferrie, "Bazı Iraksama Önlemleri için Metrik Özelliklere İlişkin Bir Not: Gauss Örneği" JMLR: Çalıştay ve Konferans Bildirileri 25: 1–15, 2012.


Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.