PAC öğrenme teorisi ne anlama geliyor?

15

Makine öğreniminde yeniyim. Makine öğrenimi konusunda bir ders okuyorum (Stanford Üniversitesi) ve bu teorinin ne anlama geldiğini ve faydasının ne olduğunu anlamadım. Birisinin bu teoriyi benim için detaylandırabileceğini merak ediyorum.

Bu teori bu denkleme dayanmaktadır. resim açıklamasını buraya girin

machine-learning probability pac-learning

— Daha iyi ingilizce
kaynak

2

PAC Muhtemelen Yaklaşık Doğru anlamına gelir.

— Marc Claesen

@MarcClaesen, Bunu şöyle açıklayabilir miyim: "Makine öğrenimi yaklaşımlarının belirli bir sorun için bir olasılık çözümü sunduğu ve bu çözüm yaklaşık olarak doğru olma eğiliminde olduğu anlamına gelir"

— BetterEnglish

1

İşte eğlenceli bir bağlantı: autonlab.org/tutorials/pac.html veya bu: autonlab.org/_media/tutorials/pac05.pdf

— EngrStudent - Monica

16

Muhtemelen yaklaşık olarak doğru (PAC) öğrenme teorisi, bir öğrencinin ( muhtemelen yaklaşık olarak doğru bir sınıflandırıcı üretip üretmeyeceğini ve hangi koşullarda üreteceğini analiz etmeye yardımcı olur . (Bazı kaynakların yerine kullandığını göreceksiniz .) $L$ $A$ $L$

İlk olarak, "yaklaşık" ı tanımlayalım. Girişlerin dağılımı üzerindeki hatası bazı ile sınırlandırılmışsa , hipotezi yaklaşık olarak doğrudur. $h \in H$ Yani,, buradagirişler üzerindeki dağılımdır. $\epsilon, 0 \le \epsilon \le \frac{1}{2}.$ $error_D(h)\lt \epsilon$ $D$

Sonra, "muhtemelen." , olasılıklı , ile böyle bir sınıflandırıcı çıkarırsa $L$ $1 - \delta$ , biz bu sınıflandırıcımuhtemelenyaklaşık doğrudiyoruz. $0 \le \delta \le \frac{1}{2}$

Bir hedef kavramının PAC ile öğrenilebilir olduğunu bilmek, muhtemelen doğru bir sınıflandırıcıyı öğrenmek için gerekli olan örnek boyutunu sınırlamanıza olanak tanır;

m \geq \frac{1}{ϵ} (l n | H | + l n \frac{1}{δ})

$m \ge\frac{1}{\epsilon}(ln|H| + ln\frac{1}{\delta})$

Bununla ilgili bazı sezgiler kazanmak için , sağ taraftaki değişkenleri değiştirdiğinizde üzerindeki etkileri not alın . İzin verilen hata azaldıkça , gerekli numune boyutu büyür. Benzer şekilde, yaklaşık olarak doğru bir öğrencinin olasılığı ve hipotez alanı büyüklüğü ile büyür . (Gevşek olarak, bir hipotez alanı algoritmanızın dikkate aldığı sınıflandırıcılar kümesidir.) Daha açık bir şekilde, daha olası sınıflandırıcılar düşündüğünüzde veya daha düşük bir hata veya daha yüksek doğruluk olasılığı istiyorsanız, aralarında ayrım yapmak için daha fazla veriye ihtiyacınız vardır. $m$ $H$

Daha fazla bilgi için, bu ve diğer ilgili videolar, örneğin bu uzun tanıtım veya makine öğrenimi metinlerinden biri, örneğin Mitchell gibi yararlı olabilir .

— Sean Paskalya
kaynak

Bu ise uzun zamandır arıyordu yanıtın türü; hem basit hem de sağlam. Birçok kaynak kapsamlı bir cevap vermesine rağmen, hızlı bir referans için çok tercih edilmez.

— Ébe Isaac

4

$(x_i, y_i)$ $x_i$ $y_i$ $\tilde{x}$ $\tilde{y}$
1.000.000 demek. Size 1,2,3, ... 999,999 dizisi verildiyse, bir sonraki sayının 1.000.000 olduğu söylenebilir. Bununla birlikte, bir sonraki sayı 999,999,5, hatta 5 olabilir. Mesele, ne kadar çok veri görürse, kişinin doğru bir model ürettiğinden o kadar emin olabileceği, ancak asla kesinlikle kesin olamayacağıdır.

$x_i, 1 \leq i \leq m$ $y_i$ $f_{\theta}$ $f_{\Theta}$ $p >1-\delta$ $f_{\Theta}$ $\epsilon$ $(\delta,\epsilon)$ $(\delta,\epsilon)$ ve verilen hipotez sınıfının ne kadar karmaşık olduğunu.

$\mathcal{H}$ $f_{\theta}$ $(\epsilon, \delta)$ $0 < \epsilon,\delta , <.5$ $f_{\Theta}$ $\tilde{x}, \tilde{y}$ $Err(f_{\Theta}(\tilde{x}) ,\tilde{y} ) < \epsilon$ $p > 1-\delta$ $m = m(\delta,\epsilon,\mathcal{H})$ $(f_{\Theta}(\tilde{x}) -\tilde{y})^2$

$(\delta,\epsilon)$

— meh
kaynak