Amaç fonksiyonu, maliyet fonksiyonu, kayıp fonksiyonu: aynı şey midir?

Makine öğreniminde insanlar nesnel işlev, maliyet işlevi, kayıp işlevi hakkında konuşurlar. Onlar sadece aynı şeyin farklı isimleri mi? Onları ne zaman kullanmalı? Her zaman aynı şeyi ifade etmiyorlarsa, farklar nelerdir?

Bunlar çok katı terimler değil ve birbirleriyle çok ilgili. Ancak:

• Kayıp fonksiyonu genellikle bir veri noktası, tahmin ve etiket üzerinde tanımlanmış bir fonksiyondur ve cezayı ölçer. Örneğin:
  • kare kaybı , doğrusal regresyonda kullanılır$l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2$
  • menteşe kaybı , kullanılır$l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)$
  • 0/1 kayıp , teorik analizlerde ve doğruluk tanımında kullanılır$l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq y_i$
• Maliyet fonksiyonu genellikle daha geneldir. Antrenman setinizdeki kayıp fonksiyonların toplamı ile bazı model karmaşıklık cezaları (düzenlileştirme) olabilir. Örneğin:
  • Ortalama Kareli Hata$MSE(\theta) = \frac{1}{N} \sum_{i=1}^N \left (f(x_i|\theta)-y_i \right )^2$
  • SVM maliyet işlevi ( ile ve eğitim seti ile bağlanan ek kısıtlamalar vardır )$SVM(\theta) = \|\theta\|^2 + C \sum_{i=1}^N \xi_i$$\xi_i$$C$
• Amaç işlevi , egzersiz sırasında optimize ettiğiniz herhangi bir fonksiyon için en genel terimdir. Örneğin, maksimum olabilirlik yaklaşımıyla belirlenmiş eğitim üretme olasılığı iyi tanımlanmış bir amaç işlevidir, ancak bir kayıp işlevi veya maliyet işlevi değildir (ancak eşdeğer bir maliyet işlevini tanımlayabilirsiniz). Örneğin:
  • MLE (maksimize ettiğiniz) bir nesnel işlev türüdür
  • Sınıflar arasındaki farklılık objektif bir işlev olabilir, ancak yapay bir şeyi tanımlamazsanız, 1-Diverjans gibi bir maliyet tanımlamaz ve bir maliyet olarak adlandırırsanız, zor bir maliyet işlevidir.

Uzun lafın kısası, şunu söyleyebilirim:

Bir zarar fonksiyonu , bir objektif fonksiyonun bir türü olan bir maliyet fonksiyonunun bir parçasıdır .

Göre Prof. Andrew Ng (sayfa 11 slaytlar bakınız),

H (X) işlevi hipotezinizi temsil eder. Sabit montaj parametreleri theta için, X özelliklerinin bir fonksiyonudur. Buna Amaç Fonksiyonu da denebileceğini söyleyebilirim.

Maliyet fonksiyonu J, fitta parametresi theta'nın bir fonksiyonudur. J = J (teta).

Hastie ve arkadaşlarının "İstatistiki Öğrenmenin Öğeleri" adlı ders kitabına göre, s.37:

Msgstr "Y girişini X girişinin belirli değerlerini tahmin etmek için f (X) fonksiyonunu arıyoruz." [...] L (Y, f (X)) kayıp fonksiyonu “öngörüdeki hataları cezalandırma işlevidir”,

Dolayısıyla “kayıp fonksiyonu” “maliyet fonksiyonu” ndan biraz daha genel bir terimdir. Bu PDF’de “kayıp” iseniz, “maliyet işlevi” ve “kayıp işlevi” ni aynı şekilde kullandıklarını düşünüyorum.

Gerçekten, s. 502

“Kümelemedeki durum, tahmin problemlerinde (denetimli öğrenme) bir kayıp veya maliyet fonksiyonunun tanımlanmasına biraz benzer.”

Belki bu terimler, farklı akademik topluluklarda bağımsız olarak geliştikleri için mevcuttur. "Amaç İşlev", Yöneylem Araştırması ve Mühendislik Matematiğinde kullanılan eski bir terimdir. “Kayıp fonksiyonu” istatistikçiler arasında daha fazla kullanılıyor olabilir. Ama burada spekülasyon yapıyorum.

Andrew NG'nin sözleriyle-

“Son olarak, kayıp fonksiyonu, tek bir eğitim örneğine göre tanımlandı. Tek bir eğitim örneğinde ne kadar iyi çalıştığınızı ölçer. Şimdi, ne kadar iyi olduğunuzu ölçen, maliyet işlevi adı verilen bir şey tanımlayacağım. Bütün bir antreman seti yapılıyor. Bu nedenle, W ve B parametrelerinize uygulanan maliyet fonksiyonu J, her antrenman örneğine uygulanan dönüş fonksiyonunun toplamının bir m'si ile ortalama olacak. ”

"Derin Öğrenme" bölümündeki 4.3 bölümünden - Ian Goodfellow, Yoshua Bengio, Aaron Courville http://www.deeplearningbook.org/

"En aza indirmek veya en üst düzeye çıkarmak istediğimiz işlev, nesnel işlev veya ölçüt olarak adlandırılır. En aza indirdiğimizde, aynı zamanda maliyet işlevi, kayıp işlevi veya hata işlevi olarak da adlandırılabilir. Bu kitapta birbirinin yerine kullanılabilir bazı makine öğrenim yayınları bu terimlerin bazılarına özel anlamlar veriyor. "

Bu kitapta, en azından, kayıp ve maliyet aynıdır.

Size kısa bir cevap vermek için, bana göre onlar eşanlamlıdır. Bununla birlikte, maliyet fonksiyonu optimizasyon probleminde daha çok, kayıp fonksiyonu parametre tahmininde kullanılır.

Maliyet ve kayıp fonksiyonları terimleri eş anlamlıdır, bazı insanlar da buna hata işlevi diyor. Daha genel senaryo, optimize etmek istediğimiz önce bir amaç fonksiyonu tanımlamaktır. Bu amaç işlevi olabilir

1. posterior olasılıkları maksimuma çıkarmak (örneğin, saf Bayes)
2. Bir fitness fonksiyonunu en üst düzeye çıkarmak (genetik programlama)
3. toplam ödül / değer işlevini en üst seviyeye çıkarmak (pekiştirici öğrenme)
4. bilgi kazanımını maksimize etme / alt düğüm safsızlıklarını minimize etme (CART karar ağacı sınıflandırması) 5. ortalama bir kare hata maliyeti (veya kaybı) fonksiyonunu minimize edin (CART, karar ağacı regresyonu, lineer regresyon, adaptif lineer nöronlar,…
5. kütük olasılığını en üst düzeye çıkarmak veya çapraz entropi kaybını (veya maliyetini) en aza indirgemek, menteşe kaybını en aza indirmek (destek vektör makinesi)

Aslında basit olmak gerekirse Eğer böyle bir m eğitim veriniz varsa (x (1), y (1)), (x (2), y (2)). . . (x (m), y (m)) Tek bir antrenman setinin ycap ile y arasındaki kaybı bulmak için L (ycap, y) kayıp fonksiyonunu kullanırız. Tüm antrenman setinin ycap ve y arasında kayıp bulmak istiyorsak, maliyet fonksiyonu.

Not: - ycap modelimizden çıktı anlamına gelir ve y beklenen çıktı anlamına gelir

Not: - Kredi Andrew kaynak olarak gidiyor: ders sinir ağı ve derin öğrenme

Kayıp fonksiyonu, tek bir egzersiz örneğinin hatasını hesaplar, maliyet fonksiyonu ise tüm egzersiz setinin kayıp fonksiyonlarının ortalamasıdır.