Duda ve arkadaşlarının Desen Sınıflandırmasında ücretsiz öğle yemeği teoremini anlama

Duda, Hart ve Stork'un Desen Sınıflandırmasında Herhangi Bir Sınıflandırıcının Doğasında Üstünlük Eksikliği Bölüm 9.2'de kullanılan gösterimler hakkında bazı sorularım var . Öncelikle kitaptan alakalı bazı metinler vereyim:

Kolaylık olması açısından, eğitim seti desenlerinden ve öğrenilecek bilinmeyen hedef fonksiyonu tarafından oluşturulan için olan iki kategori sorununu düşünün , , burada . $D$ $x^i$ $y_i = ± 1$ $i = 1,..., n$ $F(x)$ $y_i = F(x^i)$

(ayrık) hipotez kümesini veya öğrenilecek olası parametre kümelerini göstermesine izin verin . H'deki belirli bir hipotez bir sinir ağındaki nicelenmiş ağırlıklar veya fonksiyonel bir modeldeki 0 parametreleri veya bir ağaçtaki karar setleri vb. İle tanımlanabilir. $H$ $h(x) \in H$

Ayrıca, , algoritmanın antrenmandan sonra hipotezi üretme olasılığından ; bunun doğru olma olasılığı olmadığını unutmayın . $P(h)$ $h$ $h$

Daha sonra, , algoritmanın verileri üzerinde eğitildiğinde hipotez verme olasılığını belirtir . En yakın komşu ve karar ağaçları gibi deterministik öğrenme algoritmalarında, tek bir hipotez hariç her yerde sıfır olacaktır . Stokastik yöntemler (rasgele başlangıç ağırlıklarından eğitilmiş sinir ağları gibi) veya stokastik Boltzmann öğrenmesi için geniş bir dağılım olabilir. $P(h|D)$ $h$ $D$ $P(h|D)$ $h$ $P(h|D)$

sıfır-bir veya başka bir kayıp fonksiyonu için hata olsun . $E$

Gerçek işlev ve Aday öğrenme algoritması olasılığı olduğunda beklenen eğitim dışı ayarlı sınıflandırma hatası $F(x)$ $k$ $P_k(h(x)|D)$
$E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D)$ $\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$
Teorem 9.1. (Ücretsiz Öğle Yemeği Yok) İki ve öğrenme algoritması için, örnekleme dağılımı ve eğitim sayısı bağımsız olarak aşağıdakiler doğrudur : $P_1 (h |D)$ $P_2(h|D)$ $P(x)$ $n$

Tüm hedef fonksiyonlar üzerinde eşit ortalamalar , $F$ $\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n) = 0$

Herhangi bir sabit eğitim seti , , üzerinden eşit ortalama $D$ $F$ $\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D) = 0$

Bölüm 1 aslında diyor
$\sum_{F} \sum_{D} P (D | F) [E_{1} (E | F, n) — E_{2} (E | F, n)] = 0$ $\sum_F \sum_D P(D|F) [\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n)] = 0$
2. Bölüm aslında diyor
$\sum_{F} [E_{1} (E | F, D) — E_{2} (E | F, D)] = 0$ $\sum_F [\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D)] = 0$

Sorularım

formülünde , yani ı yerine ile ve toplam dışına hareket , bu bir dağılım gerçekten çünkü boyunca verilen için stokastik öğrenme algoritması inci? $\mathcal{E}_k(E|F,n)$ $E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D),$ $\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D),$ $P_k(h(x)|D)$ $P_k(h|D)$ $\sum_{x \notin D}$ $h$ $H$ $D$ $k$
Göz önüne alındığında aday öğrenme algoritması inci neden formülde, bir stokastik yöntemdir , üzerinde hiçbir toplamı yoktur , yani ? $k$ $\mathcal{E}_k(E|F,n)$ $h$ $\sum_{h \in H}$
Nasılsın ve birbirinden farklı? $\mathcal{E}_i (E|F, D)$ $\mathcal{E}_i (E|F, n)$

Does Bir eğitim seti verildi dışı eğitim hata oranı ortalama ? $\mathcal{E}_i (E|F, D)$ $D$

Does bir eğitim boyutu verilen tüm eğitim seti üzerinde ortalama dışı eğitim hata oranı, ortalama ? Cevabınız evet ise, NFL teoremindeki 1. bölüm neden yazarak eğitim setlerine göre ve neden , eğitim büyüklüğü verildiğinde tüm eğitim setlerine göre ortalama yoktur ? $\mathcal{E}_i (E|F, n)$ $n$ $\mathcal{E}_i (E|F, n)$ $\sum_D$ $\mathcal{E}_k(E|F,n)$ $n$
NFL teoreminin 1. bölümünde , sabit bir eğitim boyutu olan tüm eğitim setlerinin toplamı anlamına geliyor ? $\sum_D$ $n$
Eğer bölüm 1'deki eğitim boyutu daki tüm olası değerler üzerinde daha fazla özetlenirse , sonuç hala 0 olur, değil mi? $\mathbb{N}$ $n$
Formül içinde , bir değiştirme durumunda üzere örneğin, zorunlu eğitim seti dışında sınırlı değildir, olacak her iki parça içinde NFL teoremi hala doğru mu? $\mathcal{E}_k(E|F,n)$ $\sum_{x \notin D}$ $\sum_x$ $x$
ve arasındaki gerçek ilişkinin olarak belirleyici bir işlev olduğu varsayılırsa , bunun yerine koşullu dağılımlar veya buna eşdeğer olan bir ortak dağılım bilerek ve (ayrıca bkz benim başka bir soru , o zaman değiştirebilir) olmak (garip bölüm 1 ve 2'de gösterilmiştir). NFL teoremindeki iki parça hala doğru mu? $x$ $y$ $F$ $y=F(x)$ $P(y|x)$ $P(x,y)$ $P(y|x)$ $P(x)$ $\mathcal{E}_k (E|F,n)$ $E_{k} (E | P (x, y), n) = E_{x, y} [1 - δ (y, h (x))] P_{k} (h (x) | D)$ $\mathcal{E}_k(E|P(x,y),n) = \mathcal{E}_{x,y} [1-\delta(y, h(x))] P_k(h(x)|D)$ $P_k(h(x)|D)$

Teşekkürler ve saygılar!

machine-learning

— Tim
kaynak

Mı Dirac / Kronecker-delta? Gelen

δ

$\delta$

E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D)

$\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$

Bu Ücretsiz Öğle Yemeği Yok teoremi Durdurma problemiyle aynı mıdır? Bağlılar mı?

Cevaplarını bildiğimi düşündüğüm soruları cevaplayacağım.

Bu cevap hayır çünkü uygun setinin parçası olmayan bir seçiyorsunuz ve , bağlı . $x$ $D$ $h$ $x$
$h$ , beklenen hata oranını elde etmek için sadece test setindeki değerlerinde değerlendirildiğinden tüm setinde değil, sadece test setindeki ayrı kümesinde değerlendirilir . $x$ $H$ $x$
$\mathcal{E}_i(E|F, D)$ , fonksiyonu ve egzersiz seti verildiğinde beklenen egzersiz dışı hata oranıdır . Ama Bence farklı çünkü gerçek değerlerini değil, sadece eğitim noktası sayısını şartlandırıyorsunuz . Ancak sonraki ifadeler göz önüne alındığında bu şaşırtıcıdır. $F$ $D$ $\mathcal{E}_i(E|F, n)$ $n$ $x$
$D$ , eğitim vektörleri kümesidir. de eğitim vektörü vardır . Yani deki sabit egzersiz vektörlerini özetliyorsunuz . Sadece bir set . $n$ $D$ $n$ $D$ $D$
Bence 5'in cevabı hayır. Notasyon biraz kafa karıştırıcı gibi görünüyor.

6 ve 7 hakkında yorum yapamıyorum.

— Michael R. Chernick
kaynak

+1. Siteye hoş geldiniz, Amazon'daki yorumlarınızın büyük bir hayranıyım. Düzenleme konusundaki varsayımımı özür dilerim, matematiksel gösterim çoğunlukla bir şeyin her iki tarafına da $ 'koyarak yapılır. Eğer sarı-daire-? yazarken sağ üstte, daha fazla bilgi verecek "gelişmiş yardım" için bir bağlantı göreceksiniz; ayrıca, bazı mevcut mathjax'a (yukarıdakilerden herhangi biri gibi) sağ tıklayıp nasıl yapıldığını görmek için "Matematik Farklı Göster -> TeX komutları" nı seçebilirsiniz.

— gung - Monica'yı eski durumuna getirin

Başka bir deyişle, @gung diyor ki: Bu site LaTeX'i (neredeyse) tam olarak beklediğiniz şekilde (ekran matematiği dahil) destekler. Siteye hoş geldiniz.

L A T E X

$\LaTeX$

— kardinal

@Michael Lütfen diğerlerine hoş geldin eklememe izin verin: Sizi burada gördüğüme sevindim. (Michael Amerikan İstatistik Derneği tartışma listelerine son derece bilgili katkılarda bulundu.)

— whuber