Keyfi dağılımlar üzerinde agnostik öğrenme

$D$ $\{0,1\}^d\times \{0,1\}$ $C$ $f:\{0,1\}^d\rightarrow\{0,1\}$ $f \in C$

e r r (f, D) = \underset{(x, y) \sim D}{Pr} [f (x) \neq y]

$err(f,D) = \Pr_{(x,y) \sim D}[f(x) \neq y]$

O P T (C, D) = min_{f \in C} e r r (f, D)

$OPT(C,D) = \min_{f \in C}\ err(f,D)$ Ki bu, bir algoritma agnostically öğrenir üzerinde herhangi bir dağıtım, herhangi eğer o olasılık ile olabilir bir fonksiyonu bulmak bu şekilde , belirli bir zamanda ve den ve bir polinom ile sınırlanmış birkaç örnek .

A

$A$

C

$C$

D

$D$

2 / 3

$2/3$

f

$f$

e r r (f, D) \leq O P T (C, D) + ϵ

$err(f,D) \leq OPT(C,D) + \epsilon$

D

$D$

d

$d$

1 / ϵ

$1/\epsilon$

Soru: Hangi fonksiyon sınıflarının keyfi dağılımlar üzerinde agnostik olarak öğrenilebilir olduğu bilinmektedir? $C$

Hiçbir sınıf çok basit değil! Monoton kavşakların bile keyfi dağılımlar üzerinde agnostik olarak öğrenilebilir olmadığı biliniyor, bu yüzden sadece önemsiz işlev sınıfları arıyorum.

reference-request machine-learning lg.learning

— Aaron Roth
kaynak

agnostik öğrenmenin OPT (C, D)> 0 (yani yanlış hipotez sınıfına sahip olduğunuz durumda

— Suresh Venkat

İyi bir nokta. OPT (C, D) = 0 olduğunda özel durumda, bu PAC öğrenimidir ve çok daha kolaydır. Agnostik öğrenme için, OPT (C, D) ne olursa olsun, garanti geçerli olmalıdır.

— Aaron Roth

OPT (C, D)> 0 olan "PAC w / Sınıflandırma Gürültüsü" durumu da vardır ve doğru hipotez sınıfına (gerçekleştirilebilir ayar) sahip olsanız bile bazı hatalar vardır çünkü gürültü nedeniyle etiketler rastgele çevrilir ... I Farklı ayarların adlarının daha az kafa karıştırıcı olmasını isterdim.

— Lev Reyzin

OPT'de üst sınır ile agnostik öğrenme gibi geliyor (C, D)

— Suresh Venkat

Pek değil, çünkü sınıflandırma gürültü modelinde gürültünün keyfi olmasına izin verilmiyor. Dolayısıyla, agnostik modelde öğrenmeyi zorlaştıran (veya ampirik risk minimizerini bulma) bazı olumsuz gürültü paterni varsa, sınıflandırma gürültü modelinde (yani PAC delta parametresine düşmek) sık sık ortaya çıkmayabilir.

— Lev Reyzin

Hiçbir sınıf çok basit değilse, burada agnostik olarak PAC öğrenilebilir sınıflar vardır. Yorumlara yanıt olarak, polinom olarak birçok hipotezi olan sınıflar çarpıtılmıştır:

~~sabit derinlikli karar ağaçları (ve sadece çok sayıda hipotezi olan diğer sınıflar)~~
~~hiperplanlar (sadece farklı etiketler üreten hipotezler) $R^2$ $O(n^2)$~~
aralık birlikleri (dinamik programlama)
bitin ilk kısmındaki parite ( buna ve buna bakın ) $\log(k)\log\log(k)$ $n$
~~düşük boyutlu ortamlarda diğer hipotez sınıfları.~~

Hemen hemen her şey agnostik olarak PAC öğrenmek için NP-Hard.

Adam Kalai'nin agnostik öğrenmeye ilişkin öğreticisi de ilginizi çekebilir.

— Lev Reyzin
kaynak

Teşekkürler. Böylece sabit derinlikli karar ağaçları, 2 boyutlu hiperplanlar, (bahsettiğiniz diğer düşük boyutlu ortamları varsayıyorum), hepsi tükenme ile öğrenilebilen sadece polinom olarak çok sayıda işleve sahip olma kategorisine girer. Log (k) loglog (k) bitleri ve aralık birlikleri üzerindeki pariteler, süperpolinom olarak birçok fonksiyon içermeleri bakımından ilginçtir. Bunun gibi başkaları var mı?

— Aaron Roth

Doğru, R ^ 2'de sonsuz sayıda hiperplanet olmasına rağmen, veri noktalarını farklı şekilde sınıflandırmak için sadece O (n ^ 2). Kafamın üstünden başka ilginç sınıflar bilmiyorum, ama herhangi birini düşünürsem / bulursam, cevabımı düzenlerim.

— Lev Reyzin

yani sınırsız VC-boyut sınıfları mı istiyorsunuz?

— Suresh Venkat

sınırsız VC boyutu kesinlikle ilginç olurdu, ancak büyük sonlu (sabit d için) sınıflar zaten son derece ilginç (ve nadir gibi görünüyor)

— Aaron Roth

@LevReyzin Kalai dersleri bağlantısı çalışmıyor. Lütfen bunu düzeltebilir misiniz? Net üzerinde arama yaptı ama bu ya da bulamadı.

— Anirbit