Kesin öğrenmenin üyelik sorgularıyla birleşik karakterizasyonu

15

Düzenleme: Bir hafta içinde herhangi bir yanıt / yorum almadığım için, sorunla ilgili herhangi bir şey duymaktan mutluluk duyduğumu eklemek istiyorum. Bölgede çalışmıyorum, bu yüzden basit bir gözlem olsa bile bilmiyor olabilirim. "Bölgede çalışıyorum, ancak böyle bir karakterizasyon görmedim" gibi bir yorum bile yardımcı olacaktır!

Arka fon:

Öğrenme teorisinde iyi çalışılmış birkaç öğrenme modeli vardır (örneğin, PAC öğrenme, çevrimiçi öğrenme, üyelik / denklik sorgularıyla tam öğrenme).

Örneğin, PAC öğrenmede, bir kavram sınıfının örnek karmaşıklığı, sınıfın VC boyutu açısından hoş bir kombinatoryal karakterizasyona sahiptir. Dolayısıyla, sürekli doğruluk ve güvenle bir sınıf öğrenmek istiyorsak, bu $\Theta(d)$ örneklerinde, VC boyuttur. (Zaman karmaşıklığından değil, örnek karmaşıklığından bahsettiğimizi unutmayın.) Ayrıca, doğruluk ve güven açısından daha rafine bir karakterizasyon vardır. Benzer şekilde, çevrimiçi öğrenmenin hataya bağlı modeli hoş bir kombinatoryal karakterizasyona sahiptir. $d$

Soru:

Üyelik sorguları ile kesin öğrenme modeli için benzer bir sonucun bilinip bilinmediğini bilmek istiyorum. Model şu şekilde tanımlanmıştır: girişinde size sağlayan bir kara kutuya erişimimiz var . bazı konsept sınıfı geldiğini biliyoruz . belirlemek istiyoruz $x$ $f(x)$ $f$ $C$ $f$ mümkün olduğunca az sorgular gibi olan.

Üyelik sorgularıyla tam öğrenme modelinde bir kavramı öğrenmek için gereken sorgu sayısını karakterize eden bir kavram sınıfı birleştirici bir parametresi var mı ? $C$

Bildiklerim:

Bulduğum en iyi karakterizasyon , Servhoutio ve Gortler tarafından Bshouty, Cleve, Gavaldà, Kannan ve Tamon'a atfettikleri bir parametre kullanarak bu makalede . adlı bir kombinasyon parametresi tanımlarlar ; burada , aşağıdaki özelliklere sahip olan konsept sınıfıdır. ( Bu modelde öğrenmek için gereken en uygun sorgu sayısı olsun .) $\gamma^C$ $C$ $Q_C$ $C$

$Q_C = \Omega(1/\gamma^C)\qquad Q_C = \Omega(\log |C|) \qquad Q_C = O(\log |C|/\gamma^C)$

Bu karakterizasyon neredeyse sıkı. Bununla birlikte, üst ve alt sınırlar arasında ikinci dereceden bir boşluk olabilir. Örneğin , daha sonra alt sınır arasında olması , ve üst tarafta bağlanan bir . (Ayrıca orada alt sınır her ikisi de olan bir kavram sınıfı bulunmaktadır, yani, bu boşluk elde olduğunu düşünüyorum , ancak üst sınırı ). $1/\gamma^C = \log |C| = k$ $\Omega(k)$ $O(k^2)$ $\Omega(k)$ $O(k^2)$

reference-request machine-learning lg.learning

— Robin Kothari
kaynak

1

"Haystack boyutu", bir işlevi optimize etmenin sorgu karmaşıklığını karakterize eder: cis.upenn.edu/~mkearns/papers/haystack.pdf , Bu istediğinizden farklıdır, ancak karakterizasyon hakkında bilinenleri tartışan ilgili çalışmadan zevk alabilirsiniz kesin öğrenmenin sorgu karmaşıklığı.

— Aaron Roth

6

Anonim geyiğin örneği noktasını eve götürmek için, {0,1} ^ n'de yalnızca bir noktada 1 çıktısı alan işlevlerden oluşan concept sınıfını göz önünde bulundurun. Sınıf 2 ^ n boyutundadır ve en kötü durumda 2 ^ n sorgusu gereklidir. Aradığınız şeye benzer bir şey sağlayan en kötü Öğretim Boyutuna (Goldman ve Schapire) bir göz atın.

— anonim kaz
kaynak

1

Teşekkürler! Öğretme Boyutunu aramak beni, soruda bahsettiğim birleştirici parametreye benzeyen Genişletilmiş Öğretme Boyutuna götürdü, bu da beni konuyla ilgili diğer birçok ilginç makaleye götürdü.

— Robin Kothari

4

Böyle bir karakterizasyonu bilmiyorum. Bununla birlikte, hemen hemen her konsept sınıfı için, tüm noktaları sorgulamak gerektiğini not etmekte fayda var. Bunu görmek için, Hamming ağırlığı 1 olan tüm n boyutlu boole vektörlerinden oluşan konsept sınıfını göz önünde bulundurun. Bu konsept sınıfı açık bir şekilde n kardinalitesine eşit olan n sorgulamayı gerektirir. Hemen hemen her konsept sınıfının da tüm sorguları gerçekleştirmesini gerektirmesi için bu gözlemi genelleştirebilirsiniz.

Bir kavram sınıfı C'nin girdi olarak verildiğinden, kavram sınıfını üyelik sorgularıyla tam olarak öğrenmenin karmaşıklığını belirlemek, hatta bir sabit söyleyecek şekilde yaklaşık olarak belirlemek zordur. Bu, "iyi" kombinatoryal karakterizasyonun mevcut olmadığına dair bazı göstergeler verecektir. Böyle bir NP sertliği sonucunu kanıtlamak istiyorsanız, ancak burada göndermekten çekinmeyin ve başarısız olun ve bunu anlayabileceğimden emin olacağım (bazı fikirlerim var).

— anonim geyik
kaynak

1

Yanıtınız için teşekkürler. Hemen hemen tüm konsept sınıflarının (sınıflar üzerinde makul bir dağılım altında) öğrenilmesi zor olsa bile, bazı sınıfların öğrenilmesi kolaydır ve bunu karakterize eden bir kombinasyon parametresine sahip olmak ilginç olacaktır. Parametreyi hesaplamanın zor olup olmadığını umursamıyorum. VC boyutunun bile verimli bir şekilde hesaplanabilir olduğu bilinmemektedir.

— Robin Kothari

1

Her ne kadar diğerleri cevabı işaret etti. Kendi kendine yetirebileceğimi ve öğretim boyutunun neden cevap olduğunu gösterebileceğimi düşündüm .

$C$ $X$ $S\subseteq X$ $f$ $f$ $C$ $S$

$\mathcal{T}(f)$ $f$ $(f,C)=min\{\ |S|\ | \ S\in \mathcal{T}(f) \}$ $f$ $_{min}(f)$ $\mathcal{T}(f)$ $(C)=$ $_{f\in C}$ $(f,C)$ $C$ .

$f$ $(f,C)$ $_{min}(f)$ $(C)$ $f$

— seteropere
kaynak

f

$f$

f

$f$

f

$f$

@RobinKothari TD alt, herhangi bir MQ algoritmasında minimum sorgu sayısını sınırlar. Uygulamada, hile veya kod hileleri olmadan bu bağlama körü körüne ulaşan hiçbir algoritma olmayabilir. Angluin'in "Revisited Queries" sorgularında, en kötü durumda en iyi MQ algoritmasının ihtiyaç duyduğu sorgu sayısını temsil eden MQ adlı bir parametreyi tartıştı. Ayrıntılarını hatırlamıyorum ama kesinlikle TD <= MQ.

— seteropere

1

İlgilendiğim şey (bu soruyu sorduğumda) üyelik sorguları ile tam öğrenmeyi karakterize eden bir parametreydi. Hem üst hem de alt sınır olmalıdır. Bu (bir günlük | C | faktörüne kadar) soruya ulaşan bir parametre örneği sağladım. Sorum daha iyi bir şeyin bilinip bilinmediğiydi.

— Robin Kothari