LDA ve algılayıcı

LDA'nın diğer denetimli öğrenme tekniklerine nasıl uyduğuna dair bir fikir edinmeye çalışıyorum. LDA hakkındaki bazı LDA esque yayınlarını zaten okudum. Algılayıcıya zaten aşinayım, ama şimdi sadece LDA öğreniyorum.

LDA denetimli öğrenme algoritmaları ailesine nasıl 'uyum sağlar'? Diğer yöntemlere karşı dezavantajları neler olabilir ve ne için daha iyi kullanılabilir? Örneğin, örneğin algılayıcıyı kullanabildiğinde neden LDA kullanıyorsunuz?

AdamO'nun yukarıdaki yorumda belirttiği gibi, LDA'yı diğer doğrusal sınıflandırma yöntemleri ile karşılaştıran, birçok örnek veren ve aynı zamanda kullanımı tartışan İstatistiksel Öğrenme Unsurları (HTF olarak adlandıracağım) Bölüm 4'ü okumaktan daha iyisini yapamazsınız. PCA'nın damarında, ttnphns'ın işaret ettiği gibi, oldukça popüler olan bir boyut küçültme tekniği olarak LDA'nın.

Sınıflandırma açısından bence en önemli fark bu. İki sınıfınız olduğunu ve bunları ayırmak istediğinizi düşünün. Her sınıfın bir olasılık yoğunluk fonksiyonu vardır. Mümkün olan en iyi durum bu yoğunluk işlevlerini bilseydiniz olurdu, çünkü o zaman o noktadaki sınıfa özgü yoğunlukları değerlendirerek bir noktanın hangi sınıfa ait olacağını tahmin edebilirsiniz.

Bazı tür sınıflandırıcılar, sınıfların yoğunluk fonksiyonlarına bir yaklaşım bularak çalışır. LDA bunlardan biri; yoğunlukların aynı kovaryans matrisi ile çok değişkenli normal olduğu varsayımını yapar. Bu güçlü bir varsayımdır, ancak yaklaşık olarak doğruysa, iyi bir sınıflandırıcı elde edersiniz. Diğer birçok sınıflandırıcı da bu tür bir yaklaşımı benimser, ancak normalliği kabul etmekten daha esnek olmaya çalışır. Örneğin, HTF'nin 108. sayfasına bakın.

Öte yandan HTF, şu sayfada uyarıyor:

Sınıflandırma nihai hedefse, ayrı sınıf yoğunluklarını iyi öğrenmek gereksiz olabilir ve aslında yanıltıcı olabilir.

Başka bir yaklaşım, algılayıcının yaptığı gibi, iki sınıf arasında bir sınır aramaktır. Bunun daha sofistike bir versiyonu destek vektör makinesidir. Bu yöntemler, çekirdekleme adı verilen bir teknik kullanılarak verilere özellikler eklenmesi ile de birleştirilebilir. Bu, LDA ile çalışmaz, çünkü normalliği korumaz, ancak sadece ayırıcı bir hiper düzlem arayan bir sınıflandırıcı için sorun yoktur.

LDA ile ayırıcı bir hiper düzlem arayan klasifikatör arasındaki fark, t-testi ile sıradan istatistiklerde bazı parametrik olmayan alternatifler arasındaki farka benzer. İkincisi daha sağlamdır (örneğin aykırı olanlar için), ancak varsayımları karşılanırsa, ilk seçenek en uygunudur.

Bir başka açıklama: bazı insanların LDA veya lojistik regresyon gibi ANOVA tablolarını, hipotez testlerini ve bunun gibi şeyleri güvence altına alabilecek yöntemleri kullanmak için kültürel nedenleri olabileceğini belirtmek gerekir. LDA, Fisher tarafından icat edildi; algı, başlangıçta bir insan veya hayvan nöronu için bir modeldi ve istatistiklerle bir bağlantısı yoktu. Aynı zamanda başka şekilde de çalışır; bazı insanlar destek vektör makineleri gibi yöntemleri tercih edebilirler çünkü yirminci yüzyıl yöntemlerinin eşleşemeyeceği son teknoloji ürünü bir hipster kredisi vardır. Bu daha iyi oldukları anlamına gelmez. (Bunun doğru bir şekilde hatırlarsam Hacker'lar için Machine Learning'de bunun iyi bir örneği tartışılır .)

Sezgi için bu durumu düşünün:

Çizgi, o ve x olmak üzere iki sınıf arasındaki "optimal sınırı" temsil eder.

LDA, intercluster varyansını en aza indiren ve inttracluster varyansı en üst düzeye çıkaran bir hiper düzlem bulmaya çalışır ve daha sonra bu hiper düzlemle dik olma sınırını alır. Burada, bu muhtemelen işe yaramaz çünkü kümeler aynı yönde büyük varyansa sahiptir.

Öte yandan, bir algılayıcı, iyi bir ayırıcı hiper düzlem bulma şansı daha yüksek olabilir.

Bununla birlikte, Gauss dağılımı olan sınıflar söz konusu olduğunda, LDA muhtemelen daha iyisini yapacaktır, çünkü algı, yalnızca hangi hiper düzlemi seçtiği konusunda garanti vermeden yalnızca verilerle tutarlı bir ayırma hiper düzlemi bulur (sonsuz bir sayı olabilir) tutarlı hiperplanlar). Bununla birlikte, algılayıcının daha sofistike versiyonları, sınıflar arasındaki marjı en üst düzeye çıkarmak gibi bazı optimal özelliklere sahip bir köprü seçebilir (bu aslında Destek Vektör Makinelerinin yaptığıdır).

Ayrıca, hem LDA'nın hem de algılayıcının çekirdek hilesi ile doğrusal olmayan karar sınırlarına kadar genişletilebileceğini unutmayın .

LDA ve diğer yöntemler arasındaki en büyük farklardan biri, normal olarak dağıtıldığı varsayılan veriler için bir makine öğrenme tekniğidir. EM algoritmasını çok garip ve / veya ilginç koşullar altında en üst düzeye çıkarmak için kullanabileceğiniz eksik veri veya kesme durumunda bu harika olabilir. İhtar emptor böyle modlu veri olarak modeli misspecifications, çünkü K-ortalama daha iyi yapardı kümeleme zayıflığıdır tahminler yol açabilir. LDA'da gizli değişkenleri veya kümelemeyi tespit etmek için EM ile çok modlu veriler de hesaba katılabilir.

Örneğin, CD4 sayımına dayanarak 5 yıl içinde pozitif bir AIDS tanısı geliştirme olasılığını ölçmek istediğinizi varsayalım. Ayrıca, CD4 sayısını büyük ölçüde etkileyen ve daha fazla immünosupresyon ile ilişkili belirli bir biyobelirteç değerini bilmediğinizi varsayalım. 400'ün altındaki CD4 sayımları, en uygun fiyatlı testlerde düşük tespit sınırının altındadır. EM algoritması, LDA ve biyobelirteç atamasını ve kesilmemiş DF için CD4'ün araçlarını ve kovaryansını tekrar tekrar hesaplamamızı sağlar.