LDA'da “doğrusal ayırıcı katsayıları” nelerdir?

İçinde sınıflandırma yapmak için kütüphaneden fonksiyon Rkullanıyorum . LDA'yı anladığım gibi, girişine değerini en üst düzeye çıkaran etiketi atanacak , değil mi?ldaMASS $x$ $y$ $p(y|x)$

Ama hangi modeli sığacak zaman

x = (L bir g 1, L bir g 2)

$x=(Lag1,Lag2)$

y = D ben r e c t ben Ö n,

$y=Direction,$ oldukça çıktı anlamıyorum lda,

Düzenleme: aşağıdaki çıktıyı yeniden oluşturmak için ilk çalıştırma:

library(MASS)
library(ISLR)

train = subset(Smarket, Year < 2005)

lda.fit = lda(Direction ~ Lag1 + Lag2, data = train)

> lda.fit
Call:
lda(Direction ~ Lag1 + Lag2, data = train)

Prior probabilities of groups:
    Down       Up 
0.491984 0.508016 

Group means:
            Lag1        Lag2
Down  0.04279022  0.03389409
Up   -0.03954635 -0.03132544

Coefficients of linear discriminants:
            LD1
Lag1 -0.6420190
Lag2 -0.5135293

Yukarıdaki çıktıdaki tüm bilgileri anlıyorum ama bir şey, nedir LD1? Web'de arama yapıyorum, doğrusal ayrımcı puan mı? Bu nedir ve neden ihtiyacım var?

GÜNCELLEME

Birkaç gönderi okudum ( bu ve bunun gibi ) ve ayrıca DA için web'de arama yapıyorum ve şimdi DA veya LDA hakkında ne düşünüyorum.

Sınıflandırma yapmak için kullanılabilir ve amaç bu olduğunda, Bayes yaklaşımını kullanabilirim, yani her sınıfı için posterior ve sonra en yüksek posterior olan sınıfa sınıflandırabilirim . Bu yaklaşımla, ayrımcıları hiç öğrenmem gerekmiyor, değil mi? $p(y|x)$ $y_i$ $x$
Ben mesajların okumak üzere, DA ya da en azından LDA esas hedefleyen boyut indirgeme için, sınıfları ve -dim belirleyicisi alanı, bir çıkıntı olabilir -dim yeni içine -dim fiziki özellik , yani , orijinal dönüştürülmüş özellik vektörü olarak görülebilir ve her üzerinde vektörü tahmin edilmektedir. $K$ $D$ $D$ $x$ $(K-1)$ $z$
$\begin{aligned} x & = (x_{1}, . . ., x_{D}) \\ z & = (z_{1}, . . ., z_{K - 1}) \\ z_{ben} & = w_{ben}^{T} x \end{aligned}$ $\begin{align*}x&=(x_1,...,x_D)\\z&=(z_1,...,z_{K-1})\\z_i&=w_i^Tx\end{align*}$ $z$ $x$ $w_i$ $x$

Yukarıdaki ifadeler konusunda haklı mıyım? Evetse, aşağıdaki sorularım var:

Bir nedir ayırt edici ? vektöründeki her girdisi bir ayrımcı mıdır? Veya ? $z_i$ $z$ $w_i$
Ayrımcılarla sınıflandırma nasıl yapılır?

r discriminant-analysis inference

— Avokado
kaynak

LDA'nın 2 farklı aşaması vardır: ekstraksiyon ve sınıflandırma. Ekstraksiyonda, girdi değişkenlerinin doğrusal kombinasyonları olarak, diskriminant adı verilen gizli değişkenler oluşturulur. Bu doğrusal kombinasyonlardaki katsayılara ayırıcı katsayılar denir; bunlar hakkında sorduğunuz şey. 2. aşamada, veri noktaları sınıflara orijinal değişkenler tarafından değil, bu ayrımcılar tarafından atanır. Daha fazla okumak discriminant analysisiçin bu sitede arama yapın .

— ttnphns

Doğrusal ayrımcılık puanı, bir veri noktasının bir ayrımcı tarafından bir değeridir, bu yüzden onu, regresyon katsayısı gibi olan ayrımcı katsayı ile karıştırmayın. Ayrıntılı cevabımı burada görebilirsiniz .

— ttnphns

X

$X$

p (y | x)

$p(y|x)$

L D 1

$LD1$

Sen edebilir ve orijinal değişkenlere dayalı Bayes-kural sınıflandırma yapabilir. Fakat bu ayrımcı bir analiz olmayacak. LDA'nın temel kısmı, orijinal değişken sınıflandırıcılarını daha az sayıda türev sınıflandırıcı olan ayırıcılarla değiştirmenize olanak tanıyan boyutsallık azalmasıdır. Lütfen buradaki yayınları okuyun, özellikle benimki, LDA'nın fikirlerini ve matematiklerini thorougly açıklıyorlar.

— ttnphns

@ttnphns, yukarıdaki yorumda bağladığınız gönderiyi okuyorum, ;-)

— avokado

Yanıtlar:

LDA1 $-0.6420190\times$ Lag1 $+ -0.5135293\times$ Lag2

Aşağıdaki grafik, soruda kullanılan veri seti için skor, posterior olasılık ve sınıflandırma arasındaki ilişkiyi göstermektedir. Temel modeller her zaman iki grup LDA ile geçerlidir: skorlar ve posterior olasılık arasında 1'e 1 haritalama vardır ve tahminler posterior olasılıklardan veya skorlardan yapıldığında eşdeğerdir.

Alt soruların yanıtları ve diğer bazı yorumlar

LDA boyut küçültme için kullanılabilse de, örnekte olan bu değildir. İki grupla, gözlem başına sadece tek bir puanın gerekli olmasının nedeni, tek gereken bu olmasıdır. Bunun nedeni, bir grupta olma olasılığının diğerinde olma olasılığının bir tamamlayıcısı olmasıdır (yani 1'e ekler). Bunu grafikte görebilirsiniz: -.4'ten düşük puanlar, Aşağı grupta olarak sınıflandırılır ve daha yüksek puanlar, Yukarı olarak tahmin edilir .
Bazen skorların vektörüne a denir discriminant function. Bazen katsayılara bu denir. İkisinin de doğru olup olmadığı konusunda net değilim. MASS'ın discriminantkatsayıları ifade ettiğine inanıyorum .
MASS paketinin ldaişlevi, diğer LDA yazılımlarının çoğundan farklı bir şekilde katsayılar üretir. Alternatif yaklaşım, her grup için bir katsayı kümesi hesaplar ve her katsayı kümesi kesişime sahiptir. Bu katsayılar kullanılarak hesaplanan diskriminant fonksiyon (skorlar) ile sınıflandırma en yüksek skora dayanır ve sınıflandırmayı tahmin etmek için posterior olasılıkları hesaplamaya gerek yoktur. GitHub bazı MASSişlev LDA kodu koymak var ama bu daha uygun katsayıları üretir (paket denir Displayr/flipMultivariatesve kullanarak bir nesne oluşturursanız kullanarak LDAkatsayıları ayıklayabilirsiniz obj$original$discriminant.functions).
Ben kod için R bu yazıda tüm kavramlar burada yayınlanmıştır .
Skordan posterior olasılıkları hesaplamak için tek bir formül yoktur. Seçenekleri anlamanın en kolay yolu, (benim için zaten) kaynak koduna bakmaktır.

library(MASS) getAnywhere("predict.lda")

— Tim
kaynak

I'm not clear on whether either [word use] is correct"diskriminant fonksiyonu" aka "discriminant" çıkarılan bir değişkendir - bir değişken, bir boyut. Bu nedenle hem girdi değişkenlerinden değerlendirmek için katsayılar (ağırlıklar) hem de değerler ile puanlanır. Aynen PCA'daki bir PC gibi. Bu nedenle, "ayırt edici katsayılar" ve "ayırt edici puanlar" doğru kullanımdır.

— ttnphns

@ttnphns, terminolojiyi kullanımınız çok açık ve nettir. Ancak, konuyla ilgili yazının ve yayınların çoğunda görünen kullanım değil, bu da yapmaya çalıştığım nokta. Sadece kelime-anlamına dayanarak, "ayrımcı fonksiyonun" matematiksel fonksiyona (yani, ürün ve katsayılara) atıfta bulunması gerektiği açıktır, ancak yine de bunun yaygın kullanım olduğu açık değildir.

— Tim

@Kod için yayınladığınız bağlantı kesildi, lütfen kodu cevabınıza kopyalayabilir misiniz?

— baxx

Bu fonksiyonun arkasındaki teori "Fisher'in Birkaç Nüfus Arasında Ayrımcılık Yapma Yöntemi" dir. Referans için uygulanan çok değişkenli istatistiksel analizde (ISBN: 9780134995397) bölüm 11.6'yı öneririm.

— Morgan Zhu
kaynak