RMSE'den olasılık hesaplanıyor

Ben birkaç parametre ile bir yörünge (zamanın bir fonksiyonu olarak x) tahmin etmek için bir model var. Şu anda, tahmin edilen yörünge ve deneysel olarak kaydedilen yörünge arasındaki kök ortalama kare hatasını (RMSE) hesaplıyorum. Şu anda, simpleks (matlab'da fminsearch) kullanarak bu farkı (RMSE) en aza indiriyorum. Bu yöntem iyi uyum sağlamak için çalışırken, birkaç farklı modeli karşılaştırmak istiyorum, bu yüzden RMSE'yi en aza indirmek yerine maksimum olasılık tahminini kullanabilmem için olasılığı hesaplamam gerekiyor (ve daha sonra AIC veya BIC kullanarak modelleri karşılaştırmam gerekiyor) ). Bunu yapmanın standart bir yolu var mı?

maximum-likelihood curve-fitting

— Jason
kaynak

Kök ortalama kare hatası ve olasılık aslında yakından ilişkilidir. Diyelim ki $\lbrace x_i, z_i \rbrace$ çifti veri ve ilişkilerini modelini kullanarak modellemek istiyorsunuz $f$ . İkinci dereceden hatayı en aza indirmeye karar verdiniz

\sum_{i} {(f (x_{i}) - z_{i})}^{2}

$\sum_i \left(f(x_i) - z_i\right)^2$

Bu seçim tamamen keyfi değil mi? Tabii, tamamen yanlış olan tahminleri tamamen doğru olanlardan daha fazla cezalandırmak istiyorsunuz. Ancak kare hatası kullanmak için çok iyi bir neden var.

Gauss yoğunluğunu unutmayın: ; burada , şimdilik umursadığımız normalleştirme sabiti. Hedef verileriniz Gauss'a göre dağıtıldığını varsayalım . Böylece verilerin olasılığını yazabiliriz. $\frac{1}{Z}\exp \frac{-(x - \mu)^2}{2\sigma^2}$ $Z$ $z$

L = \prod_{i} \frac{1}{Z} \exp \frac{- (f (x_{i}) - z_{i})^{2}}{2 σ^{2}}

$\mathcal{L} = \prod_i \frac{1}{Z}\exp \frac{-(f(x_i) - z_i)^2}{2\sigma^2}$

Şimdi bunun logaritmasını alırsan ...

\log L = \sum_{i} \frac{- (f (x_{i}) - z_{i})^{2}}{2 σ^{2}} - \log Z

$\log \mathcal{L} = \sum_i \frac{-(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

... rms ile çok yakından ilişkili olduğu ortaya çıktı: tek farklar bazı sabit terimler, bir kare kök ve çarpmadır.

Uzun lafın kısası: Kök ortalama kare hatasını en aza indirmek, verilerin günlük olasılığını en üst düzeye çıkarmakla eşdeğerdir.

— bayerj
kaynak

Açık açıklama için teşekkürler. BIC kullanarak iki (gömülü olmayan) modeli karşılaştırmak istersem, olasılığı hesaplarken sadece sigma ^ 2 ve Z terimlerini (etkili bir şekilde modellerin aynı olduğunu varsayarak) düşürebilir miyim?

— Jason

Evet. Her iki terim sadece bağlıdır , bu nedenle her iki eşitse bunları bırakabilirsiniz .

σ

$\sigma$

σ

$\sigma$

— bayerj

Yukarıdaki son adımda bir hata olduğunu düşünüyorum (olabilirlik günlüğü alarak), şöyle olmalıdır: Günlük olasılığı RMSE ile doğrusal olarak ilişkili olduğu için bu "alt çizgiyi" değiştirmez, bu nedenle RMSE'yi en aza indirmek günlük olasılığını en aza indirmeye eşdeğerdir

\log L = \sum_{i} \frac{(f (x_{i}) - z_{i})^{2}}{2 σ^{2}} - \log Z

$\log \mathcal{L} = \sum_i \frac{(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

— Jason

Gauss dağılımında negatif bir işaret var mı?

— Manoj

Sonuç tam tersi olmamalı mı? Kareli hataların toplamının en aza indirilmesi, log olasılığını maksimuma çıkarır (sabit bir ) ve böylece olasılığı maksimuma çıkarır (log monotonik olduğundan).

σ

$\sigma$

— Tim Goodman