Yapay sinir ağlarında çoklu sınıf, çoklu etiket sınıflandırma görevleri için hangi kayıp fonksiyonu?

Bir dizi nesneyi n sınıflarına ayırmak için sinir ağını eğitiyorum. Her nesne aynı anda birden fazla sınıfa ait olabilir (çoklu sınıf, çoklu etiket).

Çok sınıflı problemlerde genellikle mse yerine kayıp fonksiyonu olarak softmax ve kategorik çapraz entropinin kullanılması önerildiğini ve nedenini az çok anladığımı okudum.

Çoklu etiket problemim için, her sınıf olasılık diğerinden bağımsız olması gerektiğinden softmax'ı kullanmak hiç mantıklı olmaz. Bu yüzden son katmam girişlerini her sınıf için 0..1 olasılık aralığında ezen sigmoid birimleri.

Şimdi hangi kayıp fonksiyonunu kullanmam gerektiğinden emin değilim. Kategorik crossentropinin tanımına baktığımda, sadece 1 olması gereken nöronların çıktısını göz önünde bulunduracağından ve diğerlerini görmezden geleceğinden, bu soruna iyi uygulanmayacağına inanıyorum.

İkili çapraz entropi daha iyi uyuyor gibi geliyor, ama sadece tek bir çıkış nöronuyla ikili sınıflandırma problemlerinde bahsettiğimi gördüm.

Önemli olması durumunda antrenman için python ve keras kullanıyorum.

Keras kullanıyorsanız, çıktı katmanınıza sigmoidler ve maliyet fonksiyonunuz üzerine binary_crossentropy koymanız yeterli.

$(y \cdot \ln(\text{sigmoid}(\text{logits})) + (1-y) \cdot \ln(1-\text{sigmoid}(\text{logits})))$

$n_{classes}$

Ortalama olarak herhangi bir satıra daha az etiket atanırsa, softmax_cross_entropy_with_logits kullanabilirsiniz, çünkü sınıflar birbirini dışlayan bir durumdayken, bu kayıpla birlikte olasılıkları da gerekmez. Gerekli olan tek şey, her etiket sırasının geçerli bir olasılık dağılımı olmasıdır. Olmazsa, degradenin hesaplanması yanlış olacaktır.

GÜNCELLEME (18/04/18): Eski cevap hala benim modelimde faydalı oldu. İşin püf noktası, bölme işlevini ve dağıtımı ayrı ayrı modellemek, böylece softmax'ın gücünü kullanmaktır.

$y$$m$$y_{im}=\delta_{im}$$F(y_i,x_i)=-\log P(y_i|x_i)$$y_{im}=Z\cdot P(y_m)$ iki özellik elde etmek için:

1. $\sum_m P(y_m) = 1$
2. $Z$

$max(0.01,output)$

Pratikte, optimize edici seçimi de büyük bir fark yaratıyor. Çarpanlara ayırma yaklaşımı konusundaki deneyimim Adadelta altında en iyi şekilde çalışıyor (Adagrad benim için çalışmıyor, henüz RMSprop'u denemedi, SGD'nin performansları parametreye tabidir).

$Z$

GÜNCELLEME : (Rastgele düşünce) Dirichlet işlemini kullanmak, etiket sayısından önce bazılarının dahil edilmesine izin verir gibi görünüyor?

GÜNCELLEME : Deneyde, değiştirilmiş KL ayrışması çoklu etiketli çıktı yerine çoklu sınıf çıktı vermeye meyillidir.

(Eski cevap)

Sigmoid çapraz entropi ile olan deneyimim pek hoş değildi. Şu anda değiştirilmiş bir KL-diverjans kullanıyorum. Şeklinde alır

$\sum_x{P(x)}=2$

Keras aşılama

def abs_KL_div(y_true, y_pred):
    y_true = K.clip(y_true, K.epsilon(), None)
    y_pred = K.clip(y_pred, K.epsilon(), None)
    return K.sum( K.abs( (y_true- y_pred) * (K.log(y_true / y_pred))), axis=-1)

Henüz keras kullanmadım. Örneğin caffe alarak, SigmoidCrossEntropyLossLayerçok etiketli problemlerde kullanabilirsiniz.

Aslında tensorsflow'ta hala çoklu etiketde sigmoid_cross_entropy_meankayıp hesaplama fonksiyonu olarak kullanabilirsiniz.

Ben burada acemiyim ama bu soruyu bir şansla deneyeceğim. Sizinle aynı şeyi araştırıyordum ve sonunda çok iyi bir keras sınıf sınıfı öğretici buldum @ http://machinelearningmastery.com/multi-class-classification-tutorial-keras-deep-learning-library/ .

Bu dersin yazarı kategorik çapraz entropi kaybı fonksiyonunu kullanır ve burada @ çözümünü bulmanıza yardımcı olabilecek başka bir konu vardır .