Makine öğreniminde optimizasyon hedefi olarak Pearson korelasyon katsayısını kullanın

Makine öğreniminde (regresyon sorunları için) genellikle ortalama kare hatası (MSE) veya ortalama-mutlak hata (MAE) işlevini en aza indirgemek için (artı normalleştirme terimini) hata olarak kullanıyorum. Korelasyon katsayısının kullanılmasının daha uygun olacağı durumlar olup olmadığını merak ediyorum. böyle bir durum varsa, o zaman:

1. Hangi durumlarda korelasyon katsayısı MSE / MAE'ye göre daha iyi bir metriktir?
2. Bu durumlarda, MSE / MAE hala kullanmak için iyi bir proxy maliyet işlevi midir?
3. Korelasyon katsayısının maksimize edilmesi doğrudan mümkün müdür? Bu kararlı bir objektif işlev mi?

Korelasyon katsayısının optimizasyonda doğrudan nesnel işlev olarak kullanıldığı durumları bulamadım. İnsanların beni bu alandaki bilgilere yönlendirip yönlendiremeyeceğini takdir ediyorum.

Korelasyonu en üst düzeye çıkarmak çıktı çok gürültülü olduğunda faydalıdır. Başka bir deyişle, girdiler ve çıktılar arasındaki ilişki çok zayıftır. Bu durumda, MSE'nin minimize edilmesi, çıktıyı sıfıra yakın hale getirme eğilimi gösterecektir, böylece tahmin hatası, eğitim çıktısının varyansı ile aynı olacaktır.

Degrade iniş yaklaşımı için doğrudan korelasyonun objektif fonksiyon olarak kullanılması mümkündür (basitçe eksi korelasyonu en aza indirmek için değiştirin). Bununla birlikte, SGD yaklaşımı ile nasıl optimize edileceğini bilmiyorum, çünkü maliyet fonksiyonu ve gradyan tüm eğitim örneklerinin çıktılarını içerir.

Korelasyonu en üst düzeye çıkarmanın bir başka yolu, çıktı varyansını eğitim çıktı varyansı ile aynı olacak şekilde kısıtlayarak MSE'yi en aza indirmektir. Bununla birlikte, kısıtlama tüm çıktıları da içerir, bu nedenle SGD optimize ediciden yararlanmanın bir yolu yoktur (bence).

DÜZENLEME: Sinir ağının üst katmanının doğrusal bir çıktı katmanı olması durumunda, MSE'yi en aza indirebilir ve daha sonra korelasyonu en üst düzeye çıkarmak için doğrusal katmandaki ağırlıkları ve sapmaları ayarlayabiliriz. Ayarlama CCA'ya benzer şekilde yapılabilir ( https://en.wikipedia.org/wiki/Canonical_analysis ).

Araştırmamızda Pearson korelasyonunu kullanıyoruz ve iyi çalışıyor. Bizim durumumuzda oldukça kararlıdır. Çeviri ve ölçek değişmez bir ölçü olduğundan, kesin değerleri değil, şekli tahmin etmek istiyorsanız yararlıdır. Bu nedenle, hedefinizin modelinizin çözüm alanında olup olmadığını bilmiyorsanız ve sadece şekil ile ilgileniyorsanız faydalıdır. Aksine, MSE tahmin ve hedefler arasındaki ortalama mesafeyi azaltır, bu nedenle verileri mümkün olduğunca sığdırmaya çalışır. Muhtemelen MSE'nin daha yaygın olarak kullanılmasının nedeni budur, çünkü genellikle kesin değerleri tahmin etmekle ilgilenirsiniz. MSE'yi en aza indirirseniz, korelasyon artacaktır.