RMSE'nin güven aralığı

Bir popülasyondan veri noktası örneği aldım. Bu noktaların her biri gerçek bir değere (yer gerçeğinden bilinir) ve tahmini bir değere sahiptir. Daha sonra her örneklenen nokta için hatayı hesaplayıp numunenin RMSE'sini hesaplıyorum. $n$

Daha sonra örnek boyutuna bağlı olarak bu RMSE etrafında bir çeşit güven aralığını nasıl çıkarabilirim ? $n$

RMSE yerine ortalamayı kullansaydım, standart denklemi kullanabileceğim için bunu yaparken bir sorunum olmazdı

$m = \frac{Z \sigma}{\sqrt{n}}$

ama bunun ortalamadan ziyade RMSE için geçerli olup olmadığını bilmiyorum. Bunu adapte edebilmemin bir yolu var mı?

( Bu soruyu gördüm , ancak popülasyonumun normal olarak dağıtılıp dağıtılmadığı konusunda sorunum yok, bu sorunun cevabı budur)

confidence-interval

— robintw
kaynak

"Örneğin RMSE'sini hesapladığınızda" özellikle neyi hesaplıyorsunuz? O RMSE mı , gerçek değerler arasında tahmin edilen değerler, ya farklılıklarına?

— whuber

Farkların RMSE'sini, yani gerçek ve tahmini değerler arasındaki kare farkların ortalamasının kare kökünü hesaplıyorum.

— robintw

Eğer 'temel gerçeği' biliyorsanız (bunun gerçekte ne anlama geldiğinden emin olmasam da), neden RMSE'deki belirsizliğe ihtiyacınız var? Temel gerçeğe sahip olmadığınız durumlar hakkında bir tür çıkarım kurmaya mı çalışıyorsunuz? Bu bir kalibrasyon sorunu mu?

— Glen_b-Monica

@ Glen_b: Evet, tam da bunu yapmaya çalışıyoruz. Sadece örneklem için tüm popülasyon için temel gerçeğe sahip değiliz. Daha sonra örnek için bir RMSE hesaplıyoruz ve popülasyonun RMSE'sini çıkarmak için bu örneği kullandığımız için bu konuda güven aralıklarına sahip olmak istiyoruz.

— robintw

RMSE'nin SE

— M3

Yanıtlar:

Benzer bir akıl yürütme ile burada , ben belirli koşullar altında sorunuza bir cevap vermek mümkün olabilir.

Let sizin için de geçerlidir değer veri noktasına ve tahmini değer. Tahmini ve gerçek değerler arasındaki farkların $x_{i}$ $i^{th}$ $\hat{x}_{i}$

ortalama sıfır (yani etrafında dağıtılır ) $\hat{x}_{i}$ $x_{i}$
Normal dağılımı takip et
ve hepsi aynı standart sapmaya sahiptir $\sigma$

Kısacası:

{\hat{x}}_{i} - x_{i} \sim N (0, σ^{2}),

$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$

için gerçekten bir güven aralığı istiyorsunuz . $\sigma$

Yukarıdaki varsayımlar true ( değil ) dereceli bir dağılımını takip ediyor özgürlük. Bu şu anlama gelir

\frac{n {RMSE}^{2}}{σ^{2}} = \frac{n \frac{1}{n} \sum_{i} {(\hat{x_{i}} - x_{i})}^{2}}{σ^{2}}

$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$

χ_{n}^{2}

$\chi_{n}^{2}$

n

$n$

n - 1

$n-1$

\begin{aligned} P (χ_{\frac{α}{2}, n}^{2} \leq \frac{n {RMSE}^{2}}{σ^{2}} \leq χ_{1 - \frac{α}{2}, n}^{2}) = 1 - α \\ \Leftrightarrow P (\frac{n {RMSE}^{2}}{χ_{1 - \frac{α}{2}, n}^{2}} \leq σ^{2} \leq \frac{n {RMSE}^{2}}{χ_{\frac{α}{2}, n}^{2}}) = 1 - α \\ \Leftrightarrow P (\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE \leq σ \leq \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE) = 1 - α . \end{aligned}

$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$

Bu nedenle, sizin güven aralığınızdır.

[\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE, \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE]

$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$

İşte durumunuzu simüle eden bir python programı

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

Umarım yardımcı olur.

Varsayımların geçerli olup olmadığından emin değilseniz veya yazdıklarımı farklı bir yöntemle karşılaştırmak istiyorsanız, her zaman önyüklemeyi deneyebilirsiniz .

— fabee
kaynak

Sanırım yanılıyorsunuz - RMSE için CI istiyor, değil . Ve ben de istiyorum :)

σ

$\sigma$

— Meraklı

Yanlış olduğumu düşünmüyorum. Sadece şöyle düşünün: MSE aslında . Tek fark bölün olmasıdır ve Eğer çıkarılarak olmadığı için numune burası. RMSE daha sonra karşılık gelir . Bu nedenle, RMSE nüfusu ve bunun için bir CI istersiniz. Ben de öyle türettim. Aksi takdirde sorununuzu tamamen yanlış anlamalıyım.

MSE = {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - {\hat{x}}_{i})^{2}

$\mbox{MSE} = \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat x_i)^2$

n

$n$

n - 1

$n-1$

σ

$\sigma$

σ

$\sigma$

— fabee

Fabee'nin cevabındaki mantık, RMSE'ye değil , STDE'ye (hatanın standart sapması) uygulandığında doğru görünüyor. Benzer bir isimlendirme kullanarak, her veri kaydını temsil eden bir indeks, gerçek değer ve bir ölçüm veya tahmindir. $i=1,\,\ldots,\,n$ $x_i$ $\hat{x}_i$

Hata : EĞİLİMİ, MSE (ortalama kare hatası) ve RMSE tarafından verilmektedir $\epsilon_i$

ϵ_{i} = {\hat{x}}_{i} - x_{i}, BIAS = \bar{ϵ} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}, MSE = \bar{ϵ^{2}} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}^{2}, RMSE = \sqrt{MSE} .

$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$

Bu tanımları kabul ederek, BIAS örnek ortalamasına karşılık gelir , ancak MSE önyargılı örnek varyansı değildir. Bunun yerine: veya hem BIAS hem de RMSE hesaplanmışsa, O Not önyargılı örnek varyans yerine kullanılıyor tarafsız MSE ve RMSE için verilen önceki tanımlarla tutarlılığı korumak için. $\epsilon$

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \frac{1}{n} \sum_{i = 1}^{n} (ϵ_{i} - \bar{ϵ})^{2},

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \bar{ϵ^{2}} - {\bar{ϵ}}^{2} = {RMSE}^{2} - {BIAS}^{2} .

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$

Dolayısıyla, benim görüşüme göre fabee tarafından oluşturulan güven aralıkları , STDE'nin standart sapmasına işaret etmektedir. Benzer şekilde, BIAS için z skoru (veya ise t skoru ) ve temelinde güven aralıkları oluşturulabilir. $\epsilon$ $n<30$ $\left.\text{STDE}\middle/\sqrt{n}\right.$

— CVR
kaynak

Haklısın, ama cevabımın bir kısmını kaçırdın. Temelde BIAS = 0 olduğunu varsaydım (bkz. Varsayım 1). Bu durumda, gibi . Her iki yana ve olan ve iki toplamı için yakın bir form çözümü mevcuttur RVs, muhtemelen durum için yakın bir şekilde güven aralığını türetebilirsiniz varsayım 1 olmasından anlayabilir. Bunu yapar ve cevabınızı güncellerseniz, kesinlikle onaylayacağım.

R M S E^{2} = S T D E^{2}

$RMSE^2 = STDE^2$

R M S E^{2}

$RMSE^2$

B I A S^{2}

$BIAS^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— Fabee

σ (\hat{R M S E}) / R M S E = \sqrt{\frac{1}{2 n}}

$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$

n

$n$

— LKlevin
kaynak