Zar katsayısı kayıp fonksiyonu - çapraz entropi

Tamamen evrişimli ağlar gibi bir piksel segmentasyonu sinir ağlarını eğitirken, Zar katsayısı kaybı fonksiyonuna karşı çapraz entropi kaybı fonksiyonunu kullanma kararını nasıl verirsiniz?

Bunun kısa bir soru olduğunun farkındayım, ancak başka hangi bilgileri sağlayacağından emin değilim. İki kayıp işlevi hakkında bir sürü belgeye baktım ancak birini ne zaman kullanacağımı sezgisel olarak anlayamıyorum.

Zar katsayısı veya benzer IoU metriği üzerinde çapraz entropi kullanmanın zorlayıcı bir nedeni degradelerin daha iyi olmasıdır.

Logitlerle çapraz-entropinin gradyanları gibi bir şeydir , burada , softmax çıkışlarıdır ve t , hedefdir . Bu arada, zar katsayısını farklı bir formda yazmaya çalışırsak: \ frac {2pt} {p ^ 2 + t ^ 2} veya \ frac {2pt} {p + t} , p de elde edilen degradeler çok daha çirkindir. : \ frak {2t ^ 2} {(p + t) ^ 2} ve \ frac {2t (t ^ 2-p ^ 2)} {(p ^ 2 + t ^ 2) ^ 2} . Hem dava hayal etmek kolaydır p ve t küçüktür ve degrade bazı büyük değere havaya uçuruyor. Genel olarak, eğitimin daha dengesiz hale gelmesi muhtemel görünüyor.$p - t$$p$$t$$\frac{2pt}{p^2+t^2}$$\frac{2pt}{p+t}$$p$$\frac{2t^2}{(p+t)^2}$$\frac{2t(t^2-p^2)}{(p^2+t^2)^2}$$p$$t$

İnsanların zar katsayısı veya IoU'yu doğrudan kullanmaya çalışmasının temel nedeni, asıl hedefin bu ölçümleri maksimize etmektir ve çapraz entropi, sadece geri yayılım kullanarak maksimize etmek için daha kolay olan bir proxy'dir. Ayrıca, Dice katsayısı, sınıftaki dengesizlik problemlerini tasarım ile daha iyi yapar:

Bununla birlikte, sınıf dengesizliği tipik olarak basitçe her sınıfa zarar çarpanları atamak suretiyle halledilir, öyle ki ağ nadiren görünen bir sınıfı görmezden gelmek için oldukça belirgindir, bu nedenle Zar katsayısının bu durumlarda gerçekten gerekli olduğu açık değildir.

Zar katsayısını kullanmak için gerçekten zorlayıcı bir neden olmadıkça, eğitim segmentasyon ağları için standart kayıp gibi görünen çapraz entropi kaybıyla başlayacağım.

@Shimao ve @cherub tarafından özetlendiği gibi, kişi belirli bir veri setinde hangisinin daha iyi çalışacağına apriori diyemez. Doğru yol, her ikisini de denemek ve sonuçları karşılaştırmaktır. Ayrıca, bölümlendirme söz konusu olduğunda “sonuçları karşılaştırmanın” çok kolay olmadığını unutmayın : zar katsayısı gibi IoU tabanlı önlemler bölümlemenin kalitesinin sadece bazı yönlerini kapsar; Bazı uygulamalarda, ortalama yüzey mesafesi veya Hausdorff yüzey mesafesi gibi farklı önlemler kullanılmalıdır. Gördüğünüz gibi, doğru kalite metriği seçimi bile önemsiz değil, en iyi maliyet fonksiyonunun seçimi bile.

Şahsen zar katsayısı konusunda çok iyi bir deneyime sahibim; sınıf dengesizliği söz konusu olduğunda gerçekten harikalar yaratıyor (bazı bölümler diğerlerinden daha az piksel / voksel işgal ediyor). Öte yandan, eğitim hatası eğrisi toplam karışıklık haline gelir: bana yakınsama hakkında hiçbir bilgi vermedi, bu nedenle çapraz-entropi kazanıyor. Tabii ki, bu doğrulama hatasını yine de kontrol ederek atlanabilir / atılmalıdır.