RMSE ve MAE aynı değere sahip olabilir mi?

Çapraz doğrulama uyguluyorum ve RMSE, , MAE, MSE, vb. Gibi hata metriklerini hesaplıyorum .$R^2$

RMSE ve MAE aynı değere sahip olabilir mi?

Evet, teoride. Hayal edebileceğim en basit durum, tüm tahmin hatalarının (yani artıkların) tam olarak olduğu bir veri kümesidir . RMSE ve MAE, 1 ile aynı değerleri döndürür. Biri de başka senaryolar oluşturabilir, ancak hiçbiri çok olası görünmez.$\pm$

DÜZENLEME: @DilipSarwate (mükemmel yanıtlarında @ user20160 tarafından ayrıntılı olarak açıklanmıştır) sayesinde, bu sonucun ancak tüm tahmin hatalarının mutlak değerleri aynı olduğunda mümkün olduğunu gösterir. Örneğimde 1 değeri ile ilgili özel bir şey yok , başka bir deyişle; 1 yerine başka herhangi bir sayı işe yarar.$\pm$

Ortalama mutlak hata (MAE), aşağıda göstereceğim belirli koşullar altında ortalama kare hatasına (MSE) veya kök ortalama kare hatasına (RMSE) eşit olabilir. Bu koşulların pratikte meydana gelmesi olası değildir.

Hazırlıklar

Let veri noktası için mutlak değerini belirtin ve veri kümesindeki tüm noktaları için mutlak artıklar içeren bir vektör olsun . İzin vermek , bir ifade olanları vektörü, MAE, MSE ve RMSE şekilde yazılabilir:$r_i = |y_i - \hat{y}_i|$$i$$r = [r_i, \dots, r_n]^T$$n$$\vec{1}$$n \times 1$

$$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$$

MSE

MSE'nin MAE'ye eşit olarak ayarlanması ve yeniden düzenlenmesi şunları sağlar:

$$(r - \vec{1})^T r = 0 \tag{2}$$

MSE ve MAE, mutlak artıkların yukarıdaki denklemi çözdüğü tüm veri kümeleri için eşittir. İki belirgin çözüm şunlardır: (sıfır hata var) ve (artıkların hepsi , yukarıda belirtildiği gibi). Ancak, sonsuz sayıda çözüm var.$r = \vec{0}$$r = \vec{1}$$\pm 1$

Denklemi geometrik olarak şu şekilde yorumlayabiliriz : LHS, ve nokta . Sıfır nokta ürünü diklik anlamına gelir. Dolayısıyla, her mutlak artıktan 1 çıkarılması orijinal mutlak artıklara dik olan bir vektör verirse MSE ve MAE eşittir.$(2)$$r-\vec{1}$$r$

Ayrıca, kareyi tamamlayarak, denklem şu şekilde yeniden yazılabilir:$(2)$

$$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$$

Bu denklem yarıçapı olan boyutlu bir küreyi açıklar . MSE ve MAE, ancak mutlak artıklar bu hiper kürenin yüzeyinde yer alıyorsa eşittir.$n$$[\frac{1}{2}, \dots, \frac{1}{2}]^T$$\frac{1}{2} \sqrt{n}$

RMSE

RMSE'yi MAE'ye eşitlemek ve yeniden düzenlemek aşağıdakileri sağlar:

$$r^T A r = 0 \tag{4}$$

$$A = (n I - \vec{1} \vec{1}^T)$$

burada birim matristir. Çözelti dizi boş alan arasında ; ek olarak, tüm grubu böyle . Boş alanı bulmak için eşit olan ve diğer tüm öğeler eşit olan bir matrisi olduğuna dikkat edin . ifadesi denklem sistemine karşılık gelir:$I$$A$$r$$A r = \vec{0}$$A$$n \times n$$n-1$$-1$$A r = \vec{0}$

$$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$$

Veya bir şeyleri yeniden düzenlemek:

$$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$$

Yani, her eleman diğer elemanların ortalamasına eşit olmalıdır. Bu şartı yerine getirmenin tek yolu tüm elemanların eşit olmasıdır (bu sonuç öz bileşimi dikkate alınarak da elde edilebilir ). Bu nedenle, çözüm kümesi aynı girişlere sahip tüm negatif olmayan vektörlerden oluşur:$r_i$$A$

$$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$$

Bu nedenle, RMSE ve MAE yalnızca ve artıkların mutlak değerleri tüm veri noktaları için eşit olduğunda eşittir.