Agnostik PAC örnekleme alt sınırı

Klasik PAC öğrenimi için, whp'ye bağlı bir hatayı elde etmek için örneklerinin gerekli olduğu iyi bilinmektedir; burada , konsept sınıfının VC-boyutudur. $\Omega(d/\varepsilon)$ $\varepsilon$ $d$

Agnostik durumda örneklerine ihtiyaç olduğu biliniyor mu? $\Omega(d/\varepsilon^2)$

lg.learning machine-learning

— Aryeh
kaynak

Alt sınırın neye benzediğinden emin değilim, eğer Hoefding sınırı sıkıysa (ve sanırım). Bu sınır, 1 fn için, hata olasılığı p ise, p'yi hata + - whp içinde tahmin etmek için en fazla örneğine ihtiyacınız olduğunu belirtir. 2 kavramlar, ve VC-boyutu örnekler üzerinden bir dağılım, böylece al 2. VC-boyutu 2 olduğu için bir algoritma kullanarak sadece gibi görünüyor, bu mümkündür - (ya da tam tersi) örnekleri iyileştirilmiş bir Hoefding sınırı anlamına gelecektir.

m = O (1 / ϵ^{2})

$m = O(1/\epsilon^2)$

ϵ

$\epsilon$

f_{1}

$f_1$

f_{2}

$f_2$

p_{1} = p_{2} + ϵ

$p_1 = p_2 + \epsilon$

O (1 / ϵ)

$O(1/\epsilon)$

— Aaron Roth

Yani, Hoeffding bağlı için 1/2 sıkı olduğunu düşünüyorum . Bence yukarıdaki mantık genellikle bilinir ...

p = 1 / 2

$p=1/2$

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

— Lev Reyzin

Tamam - ML kursunda kendime bir egzersiz daha yaptım ... :) Girdi için teşekkürler Aaron ve Lev!

— Aryeh

@Aaron, belki bu bir cevap olmalıydı.

— Suresh Venkat

Şimdi bir alt sınır gerçekten Anthony ve Bartlett (sunum görmek tarafından kurulduğunu fark burada ).

24 Eylül 2018'i düzenleyin. Bu soru beni tüm bu yıllar boyunca meşgul etti ve son zamanlarda, I. Pinelis ve ben, Ann'de ortaya çıkacak agnostik PAC alt sınırında kesin optimal sabiti elde ettik . Stat .

— Aryeh
kaynak

Makalenizde bu çalışmaya değinmiyorsunuz ( jmlr.org/papers/volume17/15-389/15-389.pdf ). Gerçekleştirilebilir durumda optimum örnek karmaşıklığı üst sınırlar işinizle herhangi bir bağlantısı yok mu? Bu karşılık gelen optimal örnek karmaşıklığı üst sınırları agnostik vaka için biliniyor mu?

— gradstudent

Gerçekleşebilir durumun bu kadar alakalı olduğunu düşünmüyorum. Gerçekleştirilebilir durumda, ERM optimum oranları garanti etmez - bu nedenle Hanneke ve diğerlerinin günlük faktörünü kaldırmak için harcamak zorunda kaldıkları tüm sıkı çalışma ve uygun bir öğrencinin optimal oranı elde edip edemeyeceği hala bilinmemektedir. Aksine, agnostik durumda, ERM'nin optimal orana ulaştığı uzun zamandır bilinmektedir.

— Aryeh