Makine Öğrenimi: İkili tahminler için kategorik bir çapraz entropi veya ikili çapraz entropi kaybı kullanmalı mıyım?

36

Öncelikle, ikili tahminler yapmam gerekirse, tek bir sıcak kodlama gerçekleştirerek en az iki sınıf oluşturmam gerektiğini fark ettim. Bu doğru mu? Ancak, ikili çapraz entropi sadece bir sınıf içeren tahminler için mi? Genelde çoğu kütüphanede (TensorFlow gibi) bulunan kategorik bir çapraz entropi kaybı kullansaydım, önemli bir fark olur mu?

Aslında, kategorik ve ikili çapraz entropi arasındaki kesin farklar nelerdir? TensorFlow'da ikili çapraz entropi uygulaması hiç görmedim, bu yüzden belki de kategorik olanın iyi çalıştığını düşündüm.

— infomin101
kaynak

1

: İkili sınıflandırma Örnek machinelearningmastery.com/... : ve çok sınıf sınıflandırma machinelearningmastery.com/...

— user1367204

@ user1367204: Çok sınıflı sınıflandırmaya olan bağlantı, ikili sınıflandırmaya yönlendirir. Öyle olmalı bu bir .

— kullanıcı3389669

51

Binom çapraz-entropi kaybı, $m=2$ için multinomial çapraz-entropi kaybının özel bir halidir .

\begin{aligned} L (θ) & = - \frac{1}{n} Σ_{ben = 1}^{n} [y_{ben} günlük (p_{ben}) + (1 - y_{ben}) günlük (1 - p_{ben})] \\ = - \frac{1}{n} Σ_{ben = 1}^{n} Σ_{j = 1}^{m} y_{ben j} günlük (p_{ben j}) \end{aligned}

$\begin{align} \mathcal{L}(\theta) &= -\frac{1}{n}\sum_{i=1}^n \left[y_i \log(p_i) + (1-y_i) \log(1-p_i)\right] \\ &= -\frac{1}{n}\sum_{i=1}^n\sum_{j=1}^m y_{ij} \log(p_{ij}) \end{align}$

Burada $i$ endeksler örnekleri / gözlem ve $j$ endeksleri sınıfları ve $y$ ve (LSH, RHS ile bir sıcak vektör için ikili) bir numunesi, etiket $p_{ij}\in(0,1):\sum_{j} p_{ij} =1\forall i,j$ , bir örnek için öngörüdür.

— Sycorax diyor Reinstate Monica
kaynak

3

Multinomial bir çapraz entropi kaybında 2 sınıf kullandığım sürece, esasen bir ikili çapraz entropi kaybını kullandığım anlamına mı geliyor?

— infomin101

2

@leekwotsin yup

— Sycorax,

17

İkili çapraz entropi, çok etiketli sınıflandırmalar içindir, kategorik çapraz entropi ise, her örneğin tek bir sınıfa ait olduğu çok sınıflı sınıflandırma içindir.

— Henok S Mengistu
kaynak

3

İfadenin gerekçesi nedir? Neden çoklu-etiket sınıflandırmasına kategorik çapraz entropi kullanmıyorsun?

— michal

peki her biri birden fazla sınıf içeren birden fazla etiket varsa?

— slizb

1

Bu tam olarak duymak istediğim şeydi, ama patronumun duymak istediği şey bu değil. Biraz açıklama çok harika olurdu.

— Aditya

2

Üç çeşit sınıflandırma görevi olduğunu düşünüyorum:

İkili sınıflandırma: iki özel sınıf
Çok sınıflandırma: ikiden fazla özel sınıf
Çok etiketli sınıflandırma: sadece münhasır olmayan sınıflar

Bunlardan söyleyebiliriz

(1) durumunda, ikili çapraz entropi kullanmanız gerekir.
(2) durumunda, kategorik çapraz entropi kullanmanız gerekir.
(3) durumunda, ikili çapraz entropi kullanmanız gerekir. Çoklu etiket sınıflandırıcısını sadece çok ayrı bir ikili sınıflandırıcı olarak düşünebilirsiniz. Burada 10 dersiniz varsa, ayrı ayrı 10 ikili sınıflandırıcınız var. Her ikilik sınıflandırıcı bağımsız olarak eğitilmiştir. Böylece her örnek için çoklu etiket üretebiliriz. En az bir etiketin alınması gerektiğinden emin olmak istiyorsanız, en düşük sınıflandırma kaybı işlevine sahip olanı veya diğer ölçümleri kullanarak birini seçebilirsiniz.

Çok sınıflı sınıflandırmanın çok etiketli sınıflandırma ile benzer olmadığını vurgulamak istiyorum ! Aksine, çok etiketli sınıflandırıcı, ikili sınıflandırıcıdan bir fikir ödünç alır!

— jeongmin.cha
kaynak