Eşlik öğrenme sorusu

Bir bit kümesi üzerinden bir işlev sınıfı tanımlayalım . Birbirinden "makul" farklı iki dağılımını düzeltin (isterseniz, varyasyon mesafesi en az veya benzer bir şeydir). $n$ $p, q$ $\epsilon$

Şimdi bu sınıftaki her fonksiyonu bir indeksi koleksiyonu ile tanımlanır ve aşağıdaki gibi değerlendirilir: Seçilen bitlerin paritesi 0 ise, rastgele bir örnek , aksi takdirde q'dan rastgele bir örnek . $f$ $k$ $S$ $p$ $q$

Sorun : Bazı verilen oracle erişim olduğum varsayalım bu sınıftan, ve biliyorum ederken (veya mesafenin diğer bazı ölçüm) Bilmiyorum ve . $f$ $\epsilon$ $p$ $q$

PAC-learn yapmam gereken arama sayısı konusunda herhangi bir sınırlama var mı? Muhtemelen cevabım ve cinsinden olacaktır . $f$ $n, k$ $\epsilon$

Not : Çıktı alanını belirtmedim. Yine esnekim, ama şimdilik diyelim ki ve sonlu bir alanda tanımlanmıştır . Genel olarak, üzerinde tanımlandıkları durumla da ilgilenirim (örneğin, Gauss'lular ise) $p$ $q$ $[1..M]$ ${\mathbb R}$

lg.learning

— Suresh Venkat
kaynak

Modeli anladığımdan emin değilim. Bir kehanet çağrısında ne belirtirsiniz? Örnekler her zaman hedef tarafından belirtilen dağılımdan mı çizilir?

— Lev Reyzin

Bir oracle çağrısında, f () öğesini çağırırsınız ve bir değer döndürür.

— Suresh Venkat

Hedef fonksiyona bağlı olarak Böylece

veya

her zaman örnekleri oluşturmak için kullanılır? (Sanırım bazı sınıf

öğreniyorsunuz pac .)

f \in F

$f \in F$

p

$p$

q

$q$

F

$F$

— Lev Reyzin

Evet doğru. sorun hangisinin olduğunu öğrenmek (veya kullanılan parite bitini öğrenmek)

— Suresh Venkat

PAC modelini bu modele nasıl uyarladığınızdan emin değilim. Ama buna ayırt edebilmek için yeterli görünüyor

den

olasılığı

ve daha sonra alabilirsiniz

için değerleri

lineer bağımsız

ve bulmak için Gauss eleme kullanmak

beri (

doğrusaldır). iyi ayrılmış iki gaussluyu ayırt etmek örneğin kolay olacak.

p

$p$

q

$q$

1 - 1 / (2 k)

$1 - 1/(2k)$

f (x)

$f(x)$

k

$k$

x

$x$

f

$f$

f

$f$

— Sasho Nikolov

Aşağıdaki yorumlardaki tartışma, soruyu yanlış anladığımı gösterir. Cevabım hiçbir giriş ve dönüş Oracle yapılanır burada ya da bağlı olarak, . Görünüşe göre bu sorulan şey değil. $(x, f(x))$ $x \sim p$ $x \sim q$ $f \in F$

Hedef dağılımı her hedef için sabit olduğundan, PAC örneği üst sınırı uygulanır (bu, bu sınır için hedef dağılımının tamamen ' bağlı olabileceği gerçeğinden kaynaklanır ). Bu nedenle, $f^* \in F$ $f^*$ örnekleriwphata hipotezini bulmak için yeterli olmalıdır. Not - bu örnekleri gördükten sonra,tutarlı bir hipotez bulunması gerekirve bu izlenebilir olmayabilir.

m \leq \tilde{O} (\frac{1}{ϵ} (V C (F) + \log (1 / δ)))

$m \le \tilde{O}\left(\frac{1}{\epsilon}\left(\mathrm{VC}(F) + \log(1/\delta) \right) \right)$

\leq ϵ

$\le \epsilon$

\geq 1 - δ

$\ge 1-\delta$

F

$F$

$p=q=U$ $m \ge \Omega(\mathrm{VC}(F))$

$p$ $q$ $k$

— Lev Reyzin
kaynak

(f, D)

$(f,D)$

x

$x$

D

$D$

(x, f (x))

$(x, f(x))$

f

$f$

n

$n$ ). Lev, cevabınız birinci tip veya ikinci tip bir kehanet varsayıyor mu? İkinci tip ise, hala PAC öğrenme hakkında mı konuşuyoruz?

— Keki Burjorjee

(x, f (x))

$(x, f(x))$

x \sim D

$x \sim D$

f

$f$

p

$p$

q

$q$

p = q

$p=q$

p

$p$

q

$q$

f

$f$

x

$x$

f (x)

$f(x)$

p

$p$

q

$q$

x

$x$

p = N (+ 0.25, 1)

$p=\mathcal N(+0.25, 1)$

q = N (- 0.25, 1)

$q = \mathcal N(-0.25, 1)$ def fitness() ...random_number_generator.set_seed(x)