Gürültülü etiketlerle sınıflandırma?

14

Sınıflandırma için bir sinir ağı eğitmeye çalışıyorum, ancak sahip olduğum etiketler oldukça gürültülü (etiketlerin yaklaşık% 30'u yanlış).

Çapraz entropi kaybı gerçekten işe yarıyor, ama bu durumda daha etkili olan alternatifler olduğunu merak ediyordum. veya çapraz entropi kaybı optimal midir?

Emin değilim ama çapraz entropi kaybını "kırpma" düşünüyorum, böylece bir veri noktası kaybı bazı üst sınır daha büyük olmayacak, bu işe yarar?

Teşekkürler!

Güncelleme
Lucas'ın cevabına göre, tahmin çıktısı için türevler ve softmax fonksiyonunun girişi için aşağıdakileri aldım . Yani aslında bir yumuşatma terimi ekliyor $y$ $z$ Türevlere $\frac{3}{7N}$

p_{i} = 0.3 / N + 0.7 y_{i}

$p_i=0.3/N+0.7y_i$

l = - \sum t_{i} \log (p_{i})

$l=-\sum t_i\log(p_i)$

\frac{\partial l}{\partial y_{i}} = - t_{i} \frac{\partial \log (p_{i})}{\partial p_{i}} \frac{\partial p_{i}}{\partial y_{i}} = - 0.7 \frac{t_{i}}{p_{i}} = - \frac{t_{i}}{\frac{3}{7 N} + y_{i}}

$\frac{\partial l}{\partial y_i}=-t_i\frac{\partial\log(p_i)}{\partial p_i}\frac{\partial p_i}{\partial y_i}=-0.7\frac{t_i}{p_i}=-\frac{t_i}{\frac{3}{7N}+y_i}$

Orijinal çapraz entropi kaybı türevleri:

\frac{\partial l}{\partial z_{i}} = 0.7 \sum_{j} \frac{t_{j}}{p_{j}} \frac{\partial y_{j}}{\partial z_{i}} = y_{i} \sum_{j} t_{j} \frac{y_{j}}{\frac{3}{7 N} + y_{j}} - t_{i} \frac{y_{i}}{\frac{3}{7 N} + y_{i}}

$\frac{\partial l}{\partial z_i}=0.7\sum_j\frac{t_j}{p_j}\frac{\partial y_j}{\partial z_i}=y_i\sum_jt_j\frac{y_j}{\frac{3}{7N}+y_j}-t_i\frac{y_i}{\frac{3}{7N}+y_i}$

\frac{\partial l}{\partial y_{i}} = - \frac{t_{i}}{y_{i}}

$\frac{\partial l}{\partial y_i}=-\frac{t_i}{y_i}$

yanılıyorsam lütfen bize bildirin. Teşekkürler!

\frac{\partial l}{\partial z_{i}} = y_{i} - t_{i}

$\frac{\partial l}{\partial z_i}=y_i-t_i$

Güncelleme Google tarafından Lucas'ın yanıtıyla aynı formülü uygulayan ancak farklı yorumlara sahip bir makale
okudum .

Bölüm 7'de Etiket Düzeltme ile Model Düzenleme

$∂l/∂z_k$

Ancak yumuşatma terimini tahminlere eklemek yerine, bunu gerçeğe eklediler , ki bu da yardımcı oldu.

$\epsilon$

— dontloo
kaynak

3

Bu konuda çok sayıda eser var - github.com/subeeshvasu/Awesome-Learning-with-Label-Noise

— guest_anonym

10

Burada yapılacak doğru şey, kaybı değil modeli değiştirmek. Amacınız hala mümkün olduğunca çok veri noktasını doğru bir şekilde sınıflandırmaktır (bu, kaybı belirler), ancak verilerle ilgili varsayımlarınız değişmiştir (bu, istatistiksel bir modelde kodlanmıştır , bu durumda sinir ağı).

$\mathbf{p}_t$ $\ell(y_t, \mathbf{p}_t)$ $y_t$

{\tilde{p}}_{t} = 0.3 / N + 0.7 p_{t}

$\mathbf{\tilde p}_t = 0.3/N + 0.7 \mathbf{p}_t$

yerine ve optimize et

\sum_{t} ℓ (y_{t}, 0.3 / N + 0.7 p_{t}),

$\sum_t \ell(y_t, 0.3/N + 0.7 \mathbf{p}_t),$

$N$

— Lucas
kaynak

{\tilde{p}}_{t}

$\tilde{p}_t$

0.3 / N + 0.7 p_{t}

$0.3/N +0.7p_t$

{\tilde{p}}_{t}

$\tilde{p}_t$

P r o b (\tilde{y} = + 1 | t) = 0.7 P r o b (y = + 1 | t) + 0.3 P r o b (y = - 1 | t)

$Prob(\tilde{y} = +1|t) = 0.7Prob(y=+1|t) + 0.3Prob(y = -1|t)$

P r o b (\tilde{y} = - 1 | t) = 0.7 P r o b (y = - 1 | t) + 0.3 P r o b (y = + 1 | t)

$Prob(\tilde{y} = -1|t) = 0.7Prob(y=-1|t) + 0.3Prob(y = +1|t)$

1 / N

$1/N$

0

Bunun bir istatistik forumu olduğunu ve beklentinin matematiksel türevlere odaklandığını biliyorum, ancak yardımcı olabilir ve Python kullanıyorsanız, gürültülü etiketlerle sınıflandırma için bir paket var cleanlab: https://github.com/ cgnorthcutt / cleanlab / .

cleanlabPython paketi pip install cleanlab, kendisi için ben bir yazarım, buluntular gürültülü etiketlerle öğrenme / veri kümeleri ve destekler sınıflandırma hataları etiketleyin. Scikit-learn, PyTorch, Tensorflow, FastText vb. İle çalışır.

Gürültülü etiketlerle öğrenmek için.

# Code taken from https://github.com/cgnorthcutt/cleanlab
from cleanlab.classification import LearningWithNoisyLabels
from sklearn.linear_model import LogisticRegression

# Learning with noisy labels in 3 lines of code.

# Wrap around any classifier. Works with sklearn/pyTorch/Tensorflow/FastText/etc.
lnl = LearningWithNoisyLabels(clf=LogisticRegression())
lnl.fit(X = X_train_data, s = train_noisy_labels)
# Estimate the predictions you would have gotten by training with *no* label errors.
predicted_test_labels = lnl.predict(X_test)

Veri kümenizdeki etiket hatalarını bulmak için.

from cleanlab.latent_estimation import estimate_cv_predicted_probabilities

# Find the indices of label errors in 2 lines of code.

probabilities = estimate_cv_predicted_probabilities(
    X_train_data, 
    train_noisy_labels, 
    clf=LogisticRegression(),
)
label_error_indices = get_noise_indices(
    s = train_noisy_labels, 
    psx = probabilities, 
)

FastText (NLP) ve PyTorch (MNIST AlexNet) ile ilgili bazı örnekler .

Belgeler: https://l7.curtisnorthcutt.com/cleanlab-python-package

— cgnorthcutt
kaynak