Destek Vektör Makineleri ve hiper düzlem için Sezgi

Projemde ikili sınıflandırmayı (1 veya 0) tahmin etmek için bir lojistik regresyon modeli oluşturmak istiyorum.

2'si kategorik olmak üzere 15 değişkenim var, geri kalanı sürekli ve ayrık değişkenlerin bir karışımı.

Bir lojistik regresyon modeline uymak için SVM, algılayıcı veya doğrusal programlama kullanarak doğrusal ayrılabilirliği kontrol etmem önerildi. Bu, burada lineer ayrılabilirlik testine ilişkin yapılan önerilerle bağlantılıdır .

Makine öğrenmeye yeni başlayan biri olarak, yukarıda belirtilen algoritmalar hakkındaki temel kavramları anlıyorum, ancak kavramsal olarak, benim durumumda çok fazla boyutu olan verileri nasıl ayırabileceğimizi görselleştirmek için mücadele ediyorum.

Çevrimiçi materyaldeki tüm örnekler tipik olarak, kategoriler arasında net bir boşluk gösteren ve anlaşılmasını kolaylaştıran iki sayısal değişkenin (boy, ağırlık) 2 boyutlu bir grafiğini gösterir, ancak gerçek dünyadaki veriler genellikle çok daha yüksek bir boyuttadır. İris veri kümesine geri çekilmeye ve üç tür boyunca bir hiper düzlemi uydurmaya çalışıyorum ve iki tür arasında bunu yapmak imkansız değilse özellikle nasıl zor, iki sınıf şu anda kaçıyor.

Daha yüksek boyut düzenlerine sahip olduğumuzda bunu nasıl başarırız, belirli bir sayıda özelliği aştığımızda, bu ayrılabilirliği elde etmek için daha yüksek boyutlu bir alana eşlemek için çekirdekler kullandığımız varsayılır mı?

Ayrıca doğrusal ayrılabilirliği test etmek için kullanılan metrik nedir? SVM modelinin doğruluğu, yani kafa karışıklığı matrisine dayanan doğruluk mu?

Bu konuyu daha iyi anlamak için herhangi bir yardım çok takdir edilecektir. Ayrıca, veri kümemde sadece bu iki değişkenin ne kadar örtüştüğünü gösteren iki değişkenli bir grafik örneği bulunmaktadır.

Boyut eklemenin, doğrusal bir sınıflandırıcının iki sınıfı ayırmaktan daha iyi bir iş yapmasına neden yardımcı olduğunu anlamanıza yardımcı olmaya çalışacağım.

ve ve olmak üzere iki sürekli öngörücünüz olduğunu ve ikili bir sınıflandırma yaptığımızı düşünün . Bu, verilerimizin şöyle görüneceği anlamına gelir:X 2 n = $X_1$$X_2$$n=3$

Şimdi noktalardan bazılarını sınıf 1'e ve bazılarını sınıf 2'ye atadığınızı düşünün. Sınıflara nasıl sınıf atarsak atalım, her zaman iki sınıfı mükemmel şekilde ayıran bir çizgi çizebiliriz.

Ama şimdi yeni bir nokta eklediğimizi varsayalım:

Şimdi bu noktaların iki sınıfa atamaları var, öyle ki bir çizgi onları tam olarak ayıramaz; böyle bir ödev şekildeki renklendirme ile verilir (bu, sınıflandırıcıları değerlendirirken akılda tutulması gereken çok kullanışlı bir XOR modelinin bir örneğidir). Dolayısıyla bu bize değişkenleri ile üç (doğrusal olmayan) noktayı mükemmel bir şekilde sınıflandırmak için doğrusal bir sınıflandırıcı kullanabileceğimizi gösterir, ancak genel olarak 4 doğru olmayan 4 noktayı mükemmel bir şekilde sınıflandıramayız.$p=2$

Ama şimdi başka bir öngörücü ne olur ?$X_3$

Burada daha açık gölgeli noktalar başlangıç ​​noktasına daha yakındır. Görmek biraz zor olabilir, ancak şimdi ve ile sınıf etiketlerinin herhangi bir atamasını bu noktalara mükemmel bir şekilde sınıflandırabiliriz.n = $p=3$$n=4$

Genel sonuç: öngörücülerle doğrusal bir model, iki sınıfın herhangi bir atamasını noktalarına mükemmel bir şekilde sınıflandırabilir .p + $p$$p+1$

Tüm bunların amacı, sabit tutarsak ve arttırırsak, herhangi bir etiket atamasını mükemmel bir şekilde sınıflandırabileceğimiz noktaya ulaşıncaya kadar ayırabileceğimiz desen sayısını artırırız. Çekirdek SVM ile örtük olarak yüksek boyutlu bir alana doğrusal bir sınıflandırıcı sığdırıyoruz, bu yüzden bir ayrılığın varlığı konusunda endişe duymamız çok nadir.$n$$p$

Olası sınıflandırıcıların bir kümesi için bir numune için ise, noktalarda işlevleri vardır mevcut mükemmel Bunlara etiketlerden herhangi atama sınıflandırabilirim noktaları, biz söylemek olabilir paramparça n noktaları. Eğer tüm lineer sınıflandırıcıların dizi değişkenleri daha sonra kadar paramparça olabilen puan. Eğer tüm ölçülebilir fonksiyonların alanıdır n F n F F p F n = p + 1 F$\mathscr F$$n$$\mathscr F$$n$$\mathscr F$$\mathscr F$$p$$\mathscr F$$n=p+1$$\mathscr F$$p$değişkenler varsa, herhangi bir sayıda noktayı parçalayabilir. Bize bir dizi olası sınıflandırıcının karmaşıklığını anlatan bu paramparça kavramı, istatistiksel öğrenme teorisinden gelir ve bir grup sınıflandırıcının yapabileceği aşırı uyum miktarı hakkında açıklamalar yapmak için kullanılabilir. Eğer ilgileniyorsanız Luxburg ve Schölkopf "İstatistiksel Öğrenme Teorisi: Modeller, Kavramlar ve Sonuçlar" (2008) tavsiye ederim .

Düşük boyutlu uzaylar hakkındaki sezgilerinizi alıp yüksek boyutlu alanlara uyguladığınızda hata yapmak kolaydır. Bu durumda sezginiz tam tersidir. Daha yüksek boyutlu uzayda ayıran bir hiper düzlem bulmak, alt uzayda olduğundan çok daha kolay olur.

İki çift değişkene bakarken, kırmızı ve mavi dağılımlar çakışıyor olsa da, aynı anda 15 değişkene bakıldığında, hiç örtüşmemeleri çok olasıdır.

15 değişkeniniz var, ancak hepsi bağımlı değişkeninizin ayrımcılığı için eşit derecede önemli değil (bazıları neredeyse alakasız bile olabilir).

Temel Bileşen Analizi (PCA) , bu 15 değişkenin doğrusal bir temelini yeniden hesaplar ve ilk birkaç bileşen tipik olarak varyansın çoğunu açıklayacak şekilde sıralar. Böylece bu, 15 boyutlu bir sorunu 2,3,4 veya 5 boyutlu bir soruna (örneğin) indirmenizi sağlar. Bu yüzden planlamayı daha sezgisel yapar; genellikle sayısal (veya yüksek kardinalite sıralı) değişkenleri için iki veya üç eksen kullanabilir, ardından üç ekstra boyut için işaretleyici rengi, şekli ve boyutunu kullanabilirsiniz (düşük kardinalite sıralarını birleştirebiliyorsanız daha fazla olabilir). Bu nedenle, en önemli 6 PC ile çizim yapmak, karar yüzeyinizin daha net bir şekilde görüntülenmesini sağlayacaktır.