KNN için optimum K seçimi

15

KNN için optimal K'yi seçmek için 5 kat CV yaptım. Görünüşe göre K büyüdükçe hata küçülüyor ...

resim açıklamasını buraya girin

Maalesef bir efsanem yoktu, ancak farklı renkler farklı denemeleri temsil ediyor. Toplam 5 var ve aralarında çok az değişiklik var gibi görünüyor. K büyüdükçe hata her zaman azalır. Peki en iyi K'yi nasıl seçebilirim? K = 3 iyi bir seçim olabilir mi, çünkü grafik K = 3'ten sonra seviyeler kapanıyor?

model-selection k-nearest-neighbour

— Adrian
kaynak

Kümeleri bulduktan sonra ne yapacaksınız? Sonuçta, küçük bir hata elde etmek için daha fazla küme kullanmanın değip değmeyeceğini belirlemeye yardımcı olacak kümeleme algoritmanız tarafından üretilen kümelerle yapacağınız şey budur.

— Brian Borchers

Yüksek tahmin gücü istiyorum. Bu durumda ... K = 20 ile gitmeli miyim? En düşük hataya sahip olduğu için. Ancak, aslında 100'e kadar K hatalarını çizdim. Ve 100 en düşük hataya sahip ... bu yüzden K arttıkça bu hatanın azalacağından şüpheleniyorum. Ama iyi bir kesme noktasının ne olduğunu bilmiyorum.

— Adrian

12

$k$ $k$ $k$ $k$ $k$ CV hatalarındaki fark göz ardı edilebilirse, daha küçük olandan daha küçüktür.

CV hatası tekrar yükselmeye başlamazsa, bu muhtemelen özniteliklerin bilgilendirici olmadığı anlamına gelir (en azından bu mesafe metriği için) ve sabit çıktılar vermek yapabileceği en iyisidir.

— Dikran Keseli
kaynak

2

$K=17$ $K=3$

— Flounderer
kaynak

0

Küme sayısının arkasında fiziksel veya doğal bir anlam var mı? Eğer yanılmıyorsam, K arttıkça hatanın azalması doğaldır - biraz fazla uymak gibi. Optimum K için balık tutmak yerine, alan bilgisine veya bazı sezgilere dayanarak K'yi seçmek daha iyidir?

— tohweizhong
kaynak

Bu cevabın k-nn sınıflandırması veya regresyonundan ziyade k-ortalama kümeleme için daha uygun olacağını düşünüyorum.

— Dikran Marsupial

K çok büyükse, yetersiz takılırsanız hata tekrar yükselir.

— James