Eşit dağılım altında 2-DNF'nin uygun PAC öğrenmesi

Uygun PAC öğrenme 2-DNF formüllerinin örnek sorguları ve düzgün dağılımlı sorgu karmaşıklığı ile ilgili son teknoloji sonuç nedir? Yoksa önemsiz olmayan herhangi bir sınır?

Öğrenme teorisine hiç aşina olmadığım ve bu soru farklı bir alan tarafından motive edildiğinden, cevap açık olabilir. Kitabı Kearns ve Vazirani tarafından kontrol ettim, ancak bu ayarı açıkça dikkate almıyorlar.

Post. İlgilenilen ana parametre sorgu karmaşıklığı olmasına rağmen, çalışma süresi de önemlidir. Mümkünse, çalışma süresi tercihen yaklaşık sorgu karmaşıklığıyla veya en fazla polinomla aynı olmalıdır.

Post. Balcan ve Harvey tarafından yazılan "Alt Modüler İşlevlerin Öğrenilmesi" başlıklı makalenin Ek B'si (sayfa 18) "2-DNF'lerin etkili bir şekilde PAC öğrenilebilir olduğu iyi bilinmektedir." Bununla birlikte, bu sonucun uygun öğrenme veya herhangi bir referans için olup olmadığını belirtmezler .

Aşağıdakileri önemsiz olmayan bir sınır olarak düşünüp düşünmeyeceğinizi bilmiyorum, ama işte buradayım.

İlk olarak, anlaşılır olmamak için $c$-DNF ile $k$-term DNF (sık sık yaptığım), $c$Değişkenler üzerinde -DNF formülü $x_1, \ldots, x_n$ formda $\vee_{i=1}^{k}(\ell_{i,1} \wedge \ell_{i,2} ... \ell_{i,c})$ nerede $\forall 1 \le i \le k$ ve $1 \le j \le c$, $\ell_{i,j} \in \{x_1, \ldots, x_n, \bar{x}_1, \ldots, \bar{x}_n \}$.

İlk önce bir $c$-DNF. Her terimin sahip olacağı$c$ ... $n$değişkenler, her ikisi de reddedildi veya reddedilmedi - farklı olası terimler için. 2-DNF örneğinde, her terim görünecek veya görünmeyecek ve olası "hedef"; burada hipotez alanıdır.$2^c\binom{n}{c}$$|\mathcal{H}| = 2^{2^c\binom{n}{c}}$$\mathcal{H}$

Alan bir algoritma düşünün örneklerini ve daha sonra tüm denerörnekler üzerinde mükemmel bir tahmin bulana kadar hipotezler. Occam'ın Razor teoremi , bu algoritma için bir örnekleri almanız gerektiğini söylüyor. olasılığı olan hedef .$m$$|\mathcal{H}|$$m = O(\frac{1}{\epsilon}|(\mathcal{H}|+\frac{1}{\delta})$$\le \epsilon$$\ge 1-\delta$

Bizim durumumuzda, , , yani (uygun) öğrenmeyi yapmak için yaklaşık örneğe ihtiyacınız olacaktır .$c=2$$\lg|\mathcal{H}| = O(n^2)$$n^2$

Ancak öğrenmedeki oyunun tamamı gerçekten karmaşıklık değildir (bu, özellikle nitelik etkin öğrenmede oyunun bir parçasıdır), daha çok polinom-zaman algoritmaları tasarlamaya çalışmaktır. Verimliliği umursamıyorsanız, , PAC örnek karmaşıklığı için en basit cevaptır.$n^2$

GÜNCELLEME (değiştirilen soru verildiğinde) :

Sadece örnek karmaşıklığı önemsediğinizi açıkça belirttiğiniz için, muhtemelen en basit argüman olan kaba kuvvet Occam Algoritmasını sundum. Ancak, cevabım biraz çekingen. -DNF aslında polinom zamanında öğrenilebilir! Bu Valiant'ın " Öğrenilebilir Bir Teori " adlı orijinal makalesinin bir sonucudur . Aslında -DNF herhangi bir için öğrenilebilir .$2$$c$$c = O(1)$

Argüman şu şekildedir. Bir -DNF'yi "meta-değişkenler" in bir ayrılığı olarak görüntüleyebilir ve örneklerle tutarsız olan meta değişkenleri ortadan kaldırarak bu ayrışmayı öğrenmeye çalışabilirsiniz. Böyle bir çözelti kolayca "uygun" bir çözeltiye dönüştürülebilir ve zaman alır. Bir yan not olarak, için polinom-zaman algoritması olup olmadığı hala açıktır .$c$$\approx n^c$$O(n^c)$$c = \omega(1)$

örnek karmaşıklığının da bir alt sınır olup olmadığı konusunda , cevap hemen hemen evettir. Bu kağıt Ehrenfeucht ve diğ. Occam bağlı neredeyse sıkı olduğunu gösterir.$n^2$