Serbest Öğle Teoremi ve K-NN tutarlılığı

Hesaplamalı öğrenmede, NFL teoremi evrensel bir öğrenci olmadığını belirtir. Her öğrenme algoritması için, öğrencinin yüksek olasılıkla (düşük hata hipotezi olmasına rağmen) büyük bir hata ile hipotez çıkmasına neden olan bir dağılım vardır. Sonuç, öğrenmek için hipotez sınıfının veya dağılımlarının kısıtlanması gerektiğidir. Devroye ve arkadaşları, "Olasılıksal örüntü tanıma teorisi" adlı kitaplarında, en yakın K komşu öğrencisi için aşağıdaki teoriyi kanıtlamaktadır: Burada

Assume μ has a density. if k \to \infty and k / n \to 0 then for every ϵ > 0, there's N, s.t. for all n > N : P (R_{n} - R^{*} > ϵ) < 2 e x p (- C_{d} n ϵ^{2})

$\text{Assume } \mu \text{ has a density. if } k\to \infty \text{ and } k/n\to0 \\ \text{ then for every } \epsilon>0, \text{ there's } N, \text{ s.t.} \text{ for all } n>N : \\ P(R_n - R^* > \epsilon)< 2exp(-C_dn \epsilon ^{2})$

R^{*}

$R^*$ bayes-optimal kuralının

R_{n}

$R_n$ ,

, K-NN çıktısının gerçek hatasıdır (olasılık,

n

$n$ boyutundaki eğitim kümesinin üzerindedir ),

μ

$\mu$

R^{d}

$\mathbb{R}^d$ örneğinde olasılık ölçüsüdür

C_{d}

$C_d$ sabittir, sadece öklid boyutuna bağlıdır. Bu nedenle, dağıtım hakkında herhangi bir varsayımda bulunmadan, var olan en iyi hipoteze (bazı sınırlı sınıflarda en iyisi değil) istediğimiz kadar yaklaşabiliriz. Bu sonucun NFL telaşıyla nasıl çelişmediğini anlamaya çalışıyorum? Teşekkürler!

k-nearest-neighbour consistency

— michael J
kaynak

NFL teoremini anlama şeklim, her görevde diğerlerinden daha iyi bir öğrenme algoritması bulunmamasıdır. Ancak bu matematiksel anlamda bir kanıt değil, ampirik bir gözlem olduğu teoremidir.

KNN için söylediklerinize benzer şekilde, Sinir Ağları için Evrensel Yaklaşım Teoremi de vardır, bu da 2 katmanlı bir sinir ağı verildiğinde, herhangi bir işlevi herhangi bir keyfi hata ile yaklaşık olarak tahmin edebileceğimizi belirtir.

Şimdi, bu NFL'yi nasıl kırmaz? Temel olarak akla gelebilecek herhangi bir problemi basit 2 katmanlı NN ile çözebileceğinizi ifade eder . Bunun nedeni, teorik olarak NN'lerin herhangi bir şeye yaklaşabilmesidir, pratikte onlara herhangi bir şeye yaklaşmayı öğretmek çok zordur. Bu yüzden bazı görevler için diğer algoritmalar tercih edilir.

NFL'yi yorumlamanın daha pratik bir yolu şudur:

A-priori'yi belirli bir görev için hangi algoritmanın en iyi yapacağını belirlemenin bir yolu yoktur.

— CaucM
kaynak

Cevabınız için teşekkürler, ancak bazı yanlışlıklar var .. İlk olarak, NFL teoreminin bir kanıtı vardır (örneğin, shalev-shwartz ve ben-david, makine öğrenimini anlama, bölüm 5). Evrensel Yaklaşım Teoremi için - bu teorem genişleme ile ilgilenirken, NFL teoremi genelleme ile ilgilidir.

— michael J