Korelasyon ve karşılıklı bilgi arasındaki en büyük fark nedir?

15

sorum özellikle ağın yeniden yapılandırılması için geçerlidir

correlation mutual-information

25

Korelasyon , X ve Y değişkenleri arasındaki doğrusal ilişkiyi (Pearson korelasyonu) veya monotonik ilişkiyi (Spearman korelasyonu) ölçer.

Karşılıklı bilgi daha geneldir ve X'i gözlemledikten sonra Y'deki belirsizliğin azaltılmasını ölçer. Eklem yoğunluğu ile bireysel yoğunlukların ürünü arasındaki KL mesafesidir. Böylece MI monotonik olmayan ilişkileri ve diğer daha karmaşık ilişkileri ölçebilir.

— Rob Hyndman
kaynak

3

Korelasyon mutlaka doğrusal değildir - Spearman'ın rho monotonik işlevine dayanır ve yine de biz bunu "karşılıklı bilgi katsayısı" değil, "korelasyon katsayısı" olarak adlandırırız. İyi bir nedenden dolayı: iki değişken arasındaki ilişki hakkında bilgi verir. Karşılıklı bilgi, gereksiz bilgi, karşılıklı varyans, korelasyon - bu terimler çok benzerdir ve bu soru ağın yeniden yapılandırılmasına atıfta bulunur , bu yüzden sanırım yanlış terminoloji ile yanlış alanda son bulduk. Bu oldukça özel bir soru ...

— aL3xa

1

İyi bir nokta. Cevabımı monotonik ilişkileri içerecek şekilde düzenledim. Ağın yeniden yapılandırılması hakkında hiçbir şey bilmiyorum.

— Rob Hyndman

4

Rob'un cevabına eklemek için ... bir ağın tersine mühendislik ile ilgili olarak, ağınızdaki ilişkisel bağlantılar yerine nedensel çıkarmak istediğinizde MI korelasyona göre tercih edilebilir. Korelasyon ağları tamamen ilişkilidir. Ancak MI için daha fazla veriye ve bilgi işlem gücüne ihtiyacınız var.

— ars
kaynak