Uygun PAC öğrenme VC boyut sınırları

VC boyutu olan konsept sınıfı için O \ left (\ frac {d} {\ varepsilon} \ log \ frac {1} {\ varepsilon} \ right) elde etmek yeterli olduğu iyi bilinmektedir. PAC learn \ mathcal {C} etiketli örnekler . PAC öğrenme algoritmasının (bu birçok örneği kullanan) uygun veya uygunsuz olup olmadığı bana açık değil mi? Kearns ve Vazirani'nin yanı sıra Anthony ve Biggs'in ders kitaplarında PAC öğrenme algoritması yanlış gibi görünüyor (yani, çıkış hipotezi \ mathcal {C} 'da değil ) d O ( $\mathcal{C}$$d$C$O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)$$\mathcal{C}$$\mathcal{C}$

1. Birisi benzer bir üst sınırın uygun PAC öğrenme ortamı için de geçerli olup olmadığını açıklığa kavuşturabilir mi? Öyleyse, bunun açıkça belirtildiği ve bağımsız bir kanıt içerdiği durumlarda bana bir referans verebilir misiniz?

2. Son zamanlarda Hanneke bu sınırı $\log(1/\varepsilon)$ faktöründen kurtularak geliştirdi . Birisi $\log(1/\varepsilon)$ Uygun PAC öğrenme ayarı için çıkarılabilir olup olmadığını açıklayabilir mi? Yoksa hala açık bir soru mu?

Bu soruya dikkatimi çektiği için Aryeh'e teşekkür ederim .

Diğerleri de gibi, (1) cevabı Evet ve ampirik riskin en aza indirilmesi basit bir yöntem elde etmektedir örnek karmaşıklığı ( bkz. Vapnik ve Chervonenkis, 1974; Blumer, Ehrenfeucht, Haussler ve Warmuth, 1989).$\mathcal{C}$$O((d/\varepsilon)\log(1/\varepsilon))$

İçin olduğu gibi (2), aslında boşluk var olduğunu bilinmektedir bir daha uygun öğrenme algoritması ulaşır örnek karmaşıklığı ve dolayısıyla uygun öğrenme optimal örnek karmaşıklığına . Bildiğim kadarıyla, bu gerçek hiç yayınlanmadı, ancak Daniely ve Shalev-Shwartz'ın (COLT 2014) ilgili bir argümanından kaynaklanıyor (başlangıçta çok sınıflı öğrenmede farklı, ancak ilgili bir soru için formüle edildi).$\mathcal{C}$ Ω ( ( d / ε ) günlüğü ( 1 / ε ) ) O ( d / ε )$\Omega((d/\varepsilon)\log(1/\varepsilon))$$O(d/\varepsilon)$

Düşünün basit bir durum ve alan koymak olarak ve olan singletons :, her sınıflandırıcı olarak ile ilgili sınıflandırır tam olarak bir nokta olarak ve diğerleri . Alt sınır için, hedef fonksiyonu rastgele bir singleton olarak ele alalım , burada ve , marjinal dağılımı , ilgili üniform$d=1$$\mathcal{X}$$\{1,2,...,1/\varepsilon\}$$\mathcal{C}$$f_z(x) := \mathbb{I}[x = z], z \in \mathcal{X}$$\mathcal{C}$$\mathcal{X}$$1$$0$$f_{x^*}$$x^{*} \sim {\rm Uniform}(\mathcal{X})$$P$$X$$\mathcal{X}\setminus\{x^*\}$. Şimdi öğrenen herhangi örnekler etiketli görmemesini , ama bir nokta seçmelisiniz için tahmin etiketli (önemlisi `` tamamı sıfır '' işlevi olduğu değil de , herhangi uygun öğrenen böylece gerekir bazı tahmin ) ve her noktasına gördü kadar en az olan (yanlış tahmin şansını yani, arka olasılık olan en az ). Kupon tahsildarı argümanı, gerektireceği anlamına gelir$1$$z$1 Cı z X ∖ { x * } 1 / 2 f z z ≠ X$1$$\mathcal{C}$$z$$\mathcal{X}\setminus\{x^*\}$$1/2$$f_z$$z \neq x^*$$1/2$$\Omega((1/\varepsilon)\log(1/\varepsilon))$x ∖ { x * } Ω ( ( 1 / ε ) günlük ( 1 / ε ) ) içindeki her noktayı görmek için örnekleri . Bu , tüm uygun öğrenenler için alt sınırını kanıtlar .$\mathcal{X} \setminus \{x^*\}$$\Omega((1/\varepsilon)\log(1/\varepsilon))$

Genel için , aldığımız olarak almak sınıflandırıcılarınız , tam olarak boyutlu kümeleri için , den rastgele hedef işlevini seçin ve hedef işlevin sınıflandırdığı noktalarda tekrar düzgün olarak alın (böylece öğrenci hiçbir zaman görmez) ) etiketli bir nokta . Daha sonra kupon toplayıcı argümanının genelleştirilmesi, en azından en azından görmek için örneklerine ihtiyacımız olduğunu gösterir. $d>1$$\mathcal{X}$$\{1,2,...,d/(4\varepsilon)\}$$\mathcal{C}$$\mathbb{I}_{A}$$A \subset \mathcal{X}$$d$$\mathcal{C}$$P$$0$$1$$\Omega((d/\varepsilon)\log(1/\varepsilon))$$|\mathcal{X}| - 2d$farklı noktalar ve herhangi uygun bir öğrenci en az olan bu birçok farklı noktaları görmeden büyüktür alma şansı onun tahminim ait bir onun seçtiği hipotez yanlış noktalarda , yani hata oranı büyük . Bu durumda, örnek karmaşıklığı 'den daha küçük olan uygun bir öğrenci yoktur, bu da uygun bir öğrenicinin optimal örnek karmaşıklığı elde etmediği anlamına gelir. .$\mathcal{X}$$1/3$$d/4$$A$$d$$h_{A}$$\varepsilon$$\Omega((d/\varepsilon)\log(1/\varepsilon))$$O(d/\varepsilon)$

Sonucun, inşa edilen alanına oldukça özgü olduğunu unutmayın . Uygun öğrencilerin optimal örnek karmaşıklığına ve hatta tam tam ifade ulaşabilecekleri alanları vardır. (Hanneke, 2016a). Genel ERM öğrenenleri için bazı üst ve alt sınırlar (Hanneke, 2016b) 'de, alan özellikleri açısından nicelenmiş olarak geliştirilmiştir ve belirli uygun öğrencilerin bazen en iyi duruma getirebileceği bazı daha özel durumları tartışır. örnek karmaşıklığı.$\mathcal{C}$$\mathcal{C}$$O(d/\varepsilon)$$O((d/\varepsilon)+(1/\varepsilon)\log(1/\delta))$$\mathcal{C}$

Referanslar:

Vapnik ve Chervonenkis (1974). Örüntü Tanıma Teorisi. Nauka, Moskova, 1974.

Blumer, Ehrenfeucht, Haussler ve Warmuth (1989). Öğrenilebilirlik ve Vapnik-Chervonenkis boyutu. Bilgisayar Makineleri Derneği Dergisi, 36 (4): 929–965.

Daniely ve Shalev-Shwartz (2014). Çok Sınıflı Problemler için Optimal Öğrenciler. 27. Öğrenme Teorisi Konferansı Bildiriler Kitabı.

Hanneke (2016a). PAC Öğrenmenin Optimal Örnek Karmaşıklığı. Makine Öğrenimi Araştırmaları Dergisi, Vol. 17 (38), sayfa 1-15.

Hanneke (2016b). Çeşitli Öğrenme Algoritmaları için Rafine Hata Sınırları. Makine Öğrenimi Araştırmaları Dergisi, Vol. 17 (135), s. 1-55.

(1) ve (2) sorularınız birbiriyle ilişkilidir. İlk olarak, uygun PAC öğrenimi hakkında konuşalım. Sıfır örnek hatası elde eden, ancak örnekleri gerektiren uygun PAC öğrenicileri olduğu bilinmektedir . bağımlılığının basit bir kanıtı için , eşit dağılım altındaki aralık konsept kavramını göz önünde bulundurun . En küçük tutarlı aralığı seçersek, aslında örnek karmaşıklığını elde ederiz . Bununla birlikte, en büyük tutarlı aralığı seçtiğimizi ve hedef kavramın gibi bir nokta aralığı olduğunu varsayalım.ϵ[a,b]⊆[0,1]O(1/ϵ)[0,0]$\Omega(\frac{d}{\epsilon}\log\frac1\epsilon)$$\epsilon$$[a,b]\subseteq[0,1]$$O(1/\epsilon)$$[0,0]$. Sonra basit bir kupon toplayıcı argümanı, kabaca örnekleri , negatif örnekler arasındaki boşluğa aldatılacağımızı gösterir (göreceğimiz tek tür) ) - homojen dağılım altında karakteristik davranışı [örnek büyüklüğü] olan. Bu türden daha genel alt sınırlar 1$\frac{1}{\epsilon}\log\frac1\epsilon$$1/$

Auer, R. Ortner. Kavşak kapalı konsept sınıflarına yeni bir PAC bağlandı. Makine Öğrenmesi 66 (2-3): 151-163 (2007) http://personal.unileoben.ac.at/rortner/Pubs/PAC-intclosed.pdf

Uygun PAC ile ilgili olan şey, soyut durumda olumlu sonuçlar için, ERM'nin ötesinde, "etiketli örnekle tutarlı bir konsept bul" yazan bir algoritma belirtilememesidir. Aralıklar gibi ek bir yapıya sahip olduğunuzda, yukarıdaki gibi iki farklı ERM algoritmasını inceleyebilirsiniz: minimum ve maksimum tutarlı segment. Ve bunların farklı örnek karmaşıklıkları var!

Uygunsuz PAC'ın gücü, çeşitli oylama şemaları tasarlamanızdır (Hanneke'nin böyle bir sonuçtur) - ve bu ek yapı, gelişmiş oranları kanıtlamanızı sağlar. (ERM size sabitlere kadar mümkün olan en kötü durum oranını veren agnostik PAC için hikaye daha basittir.)

Düzenle. Şimdi bana öyle geliyor ki D. Haussler, N. Littlestone, Md K. Warmuth'un 1-içerme grafiği tahmin stratejisi. {0,1} -Rastgele Çizilmiş Noktalardaki Fonksiyonlar. Enf. Comput. 115 (2): 248-292 (1994) evrensel uygun PAC öğrenicisi için doğal bir aday olabilir .$O(d/\epsilon)$

Şu anda kabul edilen cevaba eklemek için:

1. Evet. örnek karmaşıklık üst sınırı uygun PAC öğrenimi için de geçerlidir(hesaplamalı olarak etkili bir öğrenme algoritmasına yol açmayabileceğini belirtmek önemlidir, ancak bu normaldir, çünküNP=RPolmadığı sürecebazı sınıfların PAC öğrenilebilir Cf.Örneğin, Kearns'taki Theorem 1.3 - bahsettiğiniz Vazirani kitabında). Bu aslında Kearns — Vazirani kitabında (Teorem 3.3) gösterilmiştir, çünküLhipotez sınıfıH=Colan tutarlı bir hipotez bulucu vardır. Ayrıca bakınız [1].

   $$O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)$$ $\mathsf{NP}=\mathsf{RP}$$L$$\mathcal{H}=\mathcal{C}$

2. $\log(1/\varepsilon)$

   $\log(1/\varepsilon)$$(\varepsilon, \delta)$

   (Aynı makalede yer alan Dipnot 1 de geçerlidir)

[1] A. Blumer, A. Ehrenfeucht, D. Haussler ve MK Warmuth. Öğrenilebilirlik ve Vapnik-Chervonenkis boyutu. ACM Dergisi, 36 (4): 929–965, 1989.

[2] S. Hanneke. PAC öğreniminin optimal örnek karmaşıklığı. J. Mach. Öğrenin. Res. 17, 1, 1319-1333,2016.

[3] S. Arunachalam ve R. de Wolf. Öğrenme algoritmalarının optimal kuantum örnek karmaşıklığı. 32. Hesaplamalı Karmaşıklık Konferansı Bildiriler Kitabı (CCC), 2017.