Kök ortalama kare hatası (RMSE) ve standart sapma nasıl yorumlanır?

21

Diyelim ki bana öngörülen değerleri veren bir modelim var. Bu değerlerin RMSE'sini hesaplıyorum. Ve sonra gerçek değerlerin standart sapması.

Bu iki değeri (varyanslar) karşılaştırmak anlamlı mı? Bence, eğer RMSE ve standart sapma benzer / aynı ise modelimin hatası / sapması gerçekte olanla aynıdır. Ancak bu değerleri karşılaştırmak mantıklı değilse, bu sonuç yanlış olabilir. Eğer düşüncem doğruysa, bu modelin varyansa neden olan şeyi atfedemeyeceği için olabildiğince iyi olduğu anlamına mı geliyor? Bence son bölüm muhtemelen yanlış ya da en azından cevap vermek için daha fazla bilgiye ihtiyaç duyuyor.

standard-deviation standard-error rms

— jkim19
kaynak

22

En tepkilerimiz olduğunu varsayalım ve öngörülen değerler . $y_1, \dots, y_n$ $\hat y_1, \dots, \hat y_n$

(Kullanarak örnek varyans yerine basitlik için) olduğu $n$ $n-1$ MSEiken $\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2$ . Bu nedenle, örnek varyans cevapların ortalama etrafında ne kadar değiştiğini verirken, MSE cevapların tahminlerimiz etrafında ne kadar değiştiğini verir. Biz genel ortalama düşünürseniz biz hiç dikkate alacağını bu en basit belirleyicisi olarak, daha sonra tepkilerin örnek varyans için MSE karşılaştırarak bizler modeli ile izah ettik ne kadar fazla varyasyon görebilirsiniz. Bu tam olarak nedeğeri lineer regresyon yapar. $\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2$ $\bar y$ $R^2$

Aşağıdaki resmi göz önünde bulundurun: örnek sapması , yatay çizgi etrafındaki değişkenliktir. Tüm verileri eksenine yansıtırsak, bunu görebiliriz. MSE regresyon çizgisine ortalama kare uzaklık, gerileme çizgilerinin çevresinde, yani değişkenliği (yani ). Dolayısıyla, örnek varyans tarafından ölçülen değişkenlik, görebildiğimiz yatay çizgiye olan ortalama kare mesafedir, regresyon çizgisine ortalama kare mesafeden önemli ölçüde daha fazladır. $y_i$ $Y$ $\hat y_i$

— JLD
kaynak

5

\frac{\underset{ben}{Σ} (y_{ben} - {\hat{y}}_{ben})^{2}}{n - p},

$\frac{\sum_i(y_i-\hat{y}_i)^2}{n-p},$ tahmin için ) parametrenin tahmin edildiğine , yani, serbestlik derecesinin kaybı (DF).

\frac{\underset{ben}{Σ} (y_{ben} - \bar{y})^{2}}{n - 1},

$\frac{\sum_i(y_i - \bar{y}) ^2}{n-1},$

\bar{y}

$\bar{y}$

y_{i}

$y_i$ .

$\hat{y}_i = \bar{y}$ $\bar{y}$

$\hat{y}_i$

\frac{\underset{ben}{Σ} (y_{ben} - {\hat{y}}_{ben})^{2}}{n},

$\frac{\sum_i(y_i-\hat{y}_i)^2}{n},$

hesaplaması en kolay olanıdır.

— Xiao-Feng Li
kaynak

@Chaconne'nin cevabı hakkında yorum yapma ayrıcalığım yok, ancak son ifadesinde bir yazım hatası varsa şüphe ediyorum: "Örnek varyans tarafından ölçülen değişkenlik, yatay çizgiye göre ortalama kare mesafedir. bkz. çizgiye ortalama kare mesafeden önemli ölçüde daha azdır ". Ancak cevabındaki şekilde, y değerlerinin çizgi ile tahmini oldukça doğrudur, yani MSE küçüktür, en azından ortalama bir değere sahip "tahminden" daha iyidir.

— Xiao-Feng Li

3

$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2}$ çünkü hedef değişken normal olarak dağıtıldığında SD, çan şeklinde (Gauss) bir dağıtım yapma özelliğine sahiptir. Dolayısıyla, SD, hedef değişkenin tahminlerinde doğal olarak oluşan hata miktarı olarak düşünülebilir. Bu, onu herhangi bir modelin yenmek için denemesi gereken kriter haline getirir.

Bir model tahmininin hatasını ölçmenin çeşitli yolları vardır ; aralarında bahsettiğiniz Kök Ortalama Kare Hatası (RMSE) , $\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2}$ , en popüler olanlardan biridir. Kavramsal olarak SD'ye oldukça benzer: gerçek bir değerin ortalamadan ne kadar uzakta olduğunu ölçmek yerine, gerçek bir değerin modelin bu değer için öngörüsünden ne kadar uzakta olduğunu ölçmek için temel olarak aynı formülü kullanır. İyi bir model, ortalama olarak, tüm tahminler için ortalamanın naif tahmininden daha iyi tahminlere sahip olmalıdır. Bu nedenle, varyasyonun ölçüsü (RMSE), rasgeleliği SD'den daha iyi azaltmalıdır.

Bu argüman sadece RMSE için değil, diğer hata ölçümleri için de geçerlidir, ancak RMSE özellikle SD ile doğrudan karşılaştırma için caziptir çünkü matematiksel formülleri benzerdir.

— Tripartio
kaynak

Bu en iyi cevaptır, çünkü karşılaştırmanın sadece farklılıkları tanımlamak yerine nasıl yararlı olabileceğini açıklar.

— Hans