in doğası hakkında merak ediyorum . Herhangi biri sezgisel bir şey söyleyebilir: " veri hakkında ne diyor?" Σ - 1
Düzenle:
Cevaplar için teşekkürler
Harika dersler aldıktan sonra bazı noktalar eklemek isterim:
- Bilginin ölçüsüdür, yani, , yönü boyunca bilgi miktarıdır .x
- Duallik: yana pozitif tanımlı, böyledir onlar nokta ürün normlardır yüzden regularized en küçük kareler problemi için Fenchel İkili türetmek böylece, daha doğrusu birbirlerinin ikili normlar vardır, ve çift problem ile maksimizasyon yapmak. İklimlendirmelerine bağlı olarak ikisini de seçebiliriz.Σ - 1
- Hilbert boşluğu: ve sütunları (ve satırları) aynı boşluğu kapsar. Bu nedenle, (bu matrislerden birinin şartsız olduğu durumlarda) veya ile temsil arasında bir avantaj yoktur. Σ Σ - 1 Σ
- Bayes İstatistikleri: normu Bayes istatistiklerinde önemli bir rol oynar. Yani, önceden ne kadar bilgiye sahip olduğumuzu belirledi, örneğin, önceki yoğunluğun kovaryansı olduğunda, bilgi vermeyen (veya muhtemelen Jeffreys)
- Sıklık İstatistikleri: Cramér-Rao sınırını kullanarak, Fisher bilgisi ile yakından ilgilidir. Aslında, balıkçı bilgi matrisi (log-olabilirlik gradyanının dış ürünüdür) Cramér-Rao ile sınırlandırılmıştır, yani (pozitif yarı-kesin koni, ewrt konsantrasyonu elipsoidler). Yani , maksimum olasılık tahmincisi etkindir, yani verilerde maksimum bilgi mevcuttur, bu yüzden sıkça uygulanan rejim optimaldir. Daha basit bir deyişle, bazı olabilirlik işlevleri için (olasılığın işlevsel biçiminin tamamen sözde veri üreten olasılık modeline, yani üretici modeline bağlı olduğunu unutmayın, yani üretici model), maksimum olasılık, bir patron gibi kurallardır. (overkilling için üzgünüm)