KNN neden “model tabanlı” değil?

10

ESL bölüm 2.4, lineer regresyonu "model tabanlı" olarak sınıflandırmaktadır, çünkü $f(x) \approx x\cdot\beta$ buna karşılık, k yakın komşuları için benzer bir yaklaşım belirtilmemiştir. Ancak her iki yöntem de $f(x)$ ?

Daha sonra 2.4'te şöyle diyor:

En küçük kareler varsayılır $f(x)$ küresel olarak doğrusal bir fonksiyon ile iyi bir şekilde yaklaşmaktadır.

k-en yakın komşuları varsayar $f(x)$ lokal olarak sabit bir fonksiyon tarafından iyi bir şekilde tahmin edilmektedir.

KNN varsayımı da resmileştirilebilir gibi görünüyor (ancak bunu yapmanın , KNN algoritmasına varsayım yolunda yol açıp açmayacağından emin değilim) $f$ lineer regresyona yol açan doğrusal).

Öyleyse KNN aslında model tabanlı değilse, neden? Yoksa ESL'yi yanlış mı okuyorum?

machine-learning model k-nearest-neighbour

— Alec
kaynak

8

KNN ve lineer regresyonu çok farklı şeyler oldukları için doğrudan karşılaştırmak oldukça zordur, ancak bence buradaki kilit nokta "modelleme arasındaki farktır. $f(x)$ "ve" hakkında varsayımlara sahip olmak $f(x)$ ".

Doğrusal regresyon yaparken, kişi özellikle $f(x)$ , genellikle $f(x) = \mathbf{wx} + \epsilon$ nerede $\epsilon$ bir Gauss gürültü terimidir. Maksimum olabilirlik modelinin minimum kareler toplamı hata modeline eşdeğer olduğunu düşünebilirsiniz.

Diğer yandan KNN, ikinci noktanızın da belirttiği gibi, bu işlevi yerel olarak sabit bir işlevle yaklaşık olarak tahmin edebileceğinizi varsayar - $x$ - tüm dağılımı özel olarak modellemeden kullanır.

Başka bir deyişle, doğrusal regresyon genellikle iyi bir değer fikrine sahip olacaktır. $f(x)$ görünmeyenler için $x$ sadece $x$ kNN hakkında tahminlerde bulunmak için başka bilgilere (yani k komşularına) ihtiyaç duyarken, $f(x)$ , çünkü değeri $x$ ve sadece değerin kendisi, herhangi bir bilgi vermeyecektir, çünkü $f(x)$ .

DÜZENLEME: Bu açık ifadeyi yeniden ifade etmek için bunu tekrarlayın (yorumlara bakın)

Hem lineer regresyonun hem de en yakın komşu yöntemlerin, $y=f(x)$ yeni için $x$ . Şimdi iki yaklaşım var. Doğrusal regresyon, verilerin düz bir çizgide (artı eksi biraz gürültü) düştüğü varsayılarak devam eder ve bu nedenle y'nin değeri, $f(x)$ Çizginin eğiminin çarpımı. Başka bir deyişle, doğrusal ifade verileri düz bir çizgi olarak modeller .

Şimdi en yakın komşu yöntemleri, verinin nasıl göründüğünü (verileri modellemiyorsa) umursamıyor, yani, bir çizgi, bir parabol, bir daire vb. $f(x_1)$ ve $f(x_2)$ benzer olacaktır, eğer $x_1$ ve $x_2$ benzerdir. Bu varsayımın, yukarıda bahsettiğim tüm modeller de dahil olmak üzere hemen hemen her model için kabaca doğru olduğunu unutmayın. Bununla birlikte, bir NN yöntemi, $f(x)$ ile ilgilidir $x$ (bir çizgi, parabol, vb. olsun), bu ilişkinin bir modeli olmadığından, sadece yakın noktalara bakarak tahmin edilebileceğini varsayar.

— Saulius Lukauskas
kaynak

"biri özellikle f (x) modellerini veriyor" Bu ne anlama geliyor? Görünüşe göre f yerel olarak sabit olduğu varsayımını resmileştirebilir. Sadece KNN böyle bir formalizasyondan türetilemez mi?

— Alec

"Doğrusal regresyon genellikle sadece x'in değerinden bazı görünmeyen x için f (x) değeri konusunda iyi bir fikre sahip olacaktır." Bununla ne demek istediğinizden emin değilsiniz ... hala doğrusal modelin parametrelerine ihtiyacınız var, sadece KNN için parametrelere ihtiyacınız olacağı için (parametreleri daha fazla dahil olsa da)

— Alec

İyi puanlar, cevabımı daha net hale getirmek ve umarım puanlarınıza cevap vermek için düzenlemeye çalıştım (yorumlar için karakter sınırı düşüktür).

— Saulius Lukauskas

+1, bu iyi açıklanmıştır. “f (x) modellemesi ve“ f (x) hakkında varsayımlara sahip olma ”arasındaki fark, fikri çok iyi yakalar, IMO. Belki de bunu ifade etmenin başka bir yolu, f (x) modellemesinin veri oluşturma süreci hakkında varsayımlar yapmaya değer olduğunu düşünürken, knn bunu yapmaz, ancak sadece belirli bir veri değerinin yakınının değerine benzer olabileceğini düşünmektir. veri.

— gung - Monica'yı eski

Hm, tamam. Düzenlemeniz kesinlikle biraz daha açık hale getiriyor, ancak hala resmi bir ayrım görmekte sorun yaşıyorum. Görünüşe göre "modelleme" demek, "küresel olarak f'nin şekli için iyi bir fikir edinmek" demek, KNN ise sadece yerel davranışları önemsiyor. Peki küresel ve yerel arasındaki bu fark doğrusal regresyon modellemesi yapan ve KNN değil mi?

— Alec

5

Doğrusal regresyon model tabanlıdır, çünkü bir model oluşturmak için verilerin yapısı hakkında bir varsayım yapar. İstatistiksel bir programa veri kümesi yüklediğinizde ve bunu doğrusal bir regresyon çalıştırmak için kullandığınızda çıktı aslında bir modeldir: $\hat{f}(X)=\hat{\beta} X$ . Çıktı değişkeninin gerçekte nasıl oluşturulduğu hakkında varsayımlar yaptığınız için bu modele yeni veriler besleyebilir ve tahmini bir çıktı alabilirsiniz.

KNN ile gerçekten bir model yok - sadece gözlemlerin birbirine yakın olduğu varsayımı var $X$ -uzay muhtemelen çıktı değişkeni açısından benzer şekilde davranacaktır. 'KNN modeline' yeni bir gözlem beslemezsiniz, sadece mevcut gözlemlerin yeni bir gözleme en çok benzediğini belirlersiniz ve eğitim verilerinden yeni gözlem için çıktı değişkenini tahmin edersiniz.

— tjnel
kaynak

Sezgisel olarak ne demek istediğini anlasam da, ayrım hala bana titrek geliyor ... KNN'yi bir R ^ d bölümü ve bölümlere atanan ağırlıklar tarafından parametreleştirilmiş olarak göremiyor musun?

— Alec

1

Birisi sizden tahminlerinizi haklı çıkarmanızı isterse, modelinizin varsaydığı girdiler ve çıktılar arasındaki ilişkileri açıklayarak doğrusal regresyon kullandıysanız bunu yapabilirsiniz. Bir model, s / b girişleri ve çıkışları arasındaki ilişkiyi açıklamaya çalışır. KNN, s / b girişleri ve çıkışları arasındaki ilişkiyi açıklamaya çalışmaz, dolayısıyla model yoktur.

— tjnel

4

Model tabanlı terimi, kümeleme yöntemleri tartışılırken "dağıtım tabanlı" ile eş anlamlıdır. Doğrusal regresyon dağılımsal varsayımlar yapar (hataların Gaussça olduğu). KNN herhangi bir dağıtım varsayımı yapmaz. Bu ayrım.

— DL Dahly
kaynak

1

Bu benim için resmi bir ayrım açısından bana en mantıklı geliyor, ancak ESL gerçekten bu şekilde doğrusal regresyon sunmadı. Önce kare şeklinde hata maliyet işlevini tanıttılar, bir çeşit keyfi olarak (bir Gauss için bir MLE yapmak yerine), bunu f (x) = E (Y | X = x) tahmin etmemiz gerektiğini bulmak için kullandılar, KNN'nin nasıl yaklaştığını açıkladı bunu belirli varsayımlar altında sürdürdükten sonra f'nin doğrusal regresyon elde etmek için doğrusal olduğunu varsaymaya devam etti.

— Alec

İlginç bir teklif, ancak bu konuda bazı referanslarımız olsaydı çok daha iyi olurdu.

— ivanmp

0

kNN örnek tabanlıdır

Yeni bir gözlem için bir tahmin yapmak için tüm eğitim veri kümesini tutmanız gerekir, çünkü veri kümesi hakkında bir model yoktur .

KNN şu şekilde çalışır: yeni bir gözlem verildiğinde, bu yeni gözlem ile eğitim veri kümesindeki diğer tüm gözlemler arasındaki mesafeyi hesaplayacağız. Sonra komşuları (yeni gözleme en yakın olanlar) alırsınız.

Eğer $k=5$ , sonra en yakın 5 gözlemi inceliyoruz. "yerel olarak sabit bir fonksiyon", bu 5 gözlemi seçtikten sonra mesafeleri umursamadığımız anlamına gelir. Aynılar, tahmin için de aynı öneme sahipler.

Bir modeli nasıl bulabilirim?

Şimdi, "yerel olarak sabit" olmayan bir fonksiyon bulmaya çalışırsak, bu normal bir dağılım olur. Bu durumda, Linear Discriminant Analysis veya Naive Bayes (diğer bazı varsayımlara bağlı olarak) bir algoritma çağrısı alırsınız.

— Xiaoshi
kaynak