KNN ayrımcı bir öğrenme algoritması mıdır?

KNN, ayrımcı bir öğrenme algoritması gibi görünüyor, ancak bunu doğrulayan herhangi bir çevrimiçi kaynak bulamıyorum.

KNN ayrımcı bir öğrenme algoritması mıdır?

KNN, belirli bir sınıfa ait bir örneğin koşullu olasılığını modellediğinden, ayrımcı bir algoritmadır . Bunu görmek için sadece kişinin kNN'lerin karar kuralına nasıl ulaştığını düşünün.

Sınıf etiketi, özellik uzayındaki bir bölgeye ait olan bir dizi noktaya karşılık gelir $R$. Gerçek olasılık dağılımından örnek noktalar çizerseniz, $p(x)$ , bağımsız olarak, o sınıftan bir örnek çizim olasılığı,

$$P = \int_{R} p(x) dx$$

$N$ puanınız varsa ne olur ? Bu N noktasının $K$ noktalarının R bölgesine düşme olasılığı binom dağılımını takip eder, $N$$R$

$$Prob(K) = {{N} \choose {K}}P^{K}(1-P)^{N-K}$$

Şöyle bu dağılımı olan keskin olasılığı olan ortalama değer olarak ifade edilebilir, böylece, zirve$N \to \infty$ RP=∫Rp(x)dx≈p(x)VVp(x)≈$\frac{K}{N}$ . Ek bir yaklaşım, üzerindeki olasılık dağılımının yaklaşık olarak sabit , böylece kişi integrale yaklaşık burada , bölgesi. Bu yaklaşımlar altında .$R$

$$P = \int_{R} p(x) dx \approx p(x)V$$ $V$$p(x) \approx \frac{K}{NV}$

Şimdi, eğer birkaç sınıfımız olsaydı, her biri için aynı analizi tekrarlayabiliriz, bu da bize nerede sınıftan alınan puan miktarıdır

$$p(x|C_{k}) = \frac{K_{k}}{N_{k}V}$$ $K_{k}$$k$ o bölgeye giren ve , sınıfına ait toplam puan . Uyarı .$N_{k}$$C_k$$\sum_{k}N_{k}=N$

Analizi binom dağılımı ile tekrarlayarak, önceki tahmin edebildiğimizi görmek kolaydır .$P(C_{k}) = \frac{N_{k}}{N}$

Bayes kuralını kullanarak,

$$P(C_{k}|x) = \frac{p(x|C_{k})p(C_{k})}{p(x)} = \frac{K_{k}}{K}$$ KNN'ler için kural olan .

Tarafından cevap @jpmuc doğru değil. Üretken modeller temel dağılımı P (x / Ci) modellemekte ve daha sonra posterior olasılıkları bulmak için Bayes teoremini kullanmaktadır. Bu cevapta gösterilen tam olarak budur ve daha sonra tam tersini sonuçlandırır. :Ö

KNN'nin üretken bir model olması için sentetik veriler üretebilmeliyiz. Başlangıç ​​eğitimi verilerimiz olduğunda bunun mümkün olduğu görülmektedir. Ancak hiçbir eğitim verisinden başlamak ve sentetik veri üretmek mümkün değildir. Bu nedenle KNN, üretken modellere iyi uymuyor.

KNN'nin ayrımcı bir model olduğu iddia edilebilir, çünkü sınıflandırma için ayrımcı sınır çizebiliriz veya posterior P'yi (Ci / x) hesaplayabiliriz. Ancak, tüm bunlar üretken modeller için de geçerlidir. Gerçek bir ayrımcı model, altta yatan dağılım hakkında hiçbir şey söylemez. Ancak KNN durumunda, temel dağıtım hakkında çok şey biliyoruz, aslında tüm eğitim setini saklıyoruz.

Yani KNN, üretken ve ayrımcı modeller arasında ortada gibi görünüyor. Muhtemelen bu yüzden KNN, tanınmış makalelerde herhangi bir üretken veya ayrımcı model altında kategorize edilmemiştir. Onlara parametrik olmayan modeller diyelim.

Ben (tersini söyleyen bir kitabın genelinde geldim yani bir Üretken parametrik olmayan Sınıflandırma Modeli)

Bu çevrimiçi bağlantı: Murphy, Kevin P. tarafından Makine Olasılıksal Bir Bakış Açısı (2012)

İşte kitaptan alıntı:

KNN'nin ayrımcı olduğuna katılıyorum. Bunun nedeni, verileri açıklayan (olasılıkla, örneğin Naive Bayes gibi) açık bir şekilde (olasılıklı) bir modeli saklamadığı veya öğrenmeye çalıştığıdır.

Juampa'nın cevabı beni karıştırıyor çünkü benim anlayışımla, üretken bir sınıflandırıcı verinin nasıl üretildiğini açıklamaya çalışan (örneğin bir model kullanarak) ve bu cevap bunun bu nedenle ayrımcı olduğunu söylüyor ...