“Parametreleri özellikler ve sınıflar arasında paylaşma” ne anlama gelir?

Bu makaleyi okurken "doğrusal sınıflandırıcılar özellikleri ve sınıflar arasında parametre paylaşmaz" yazan bir satır vardır. Bu ifadenin anlamı nedir? Lojistik regresyon gibi doğrusal sınıflandırıcıların karşılıklı bağımsız özelliklere ihtiyaç duyduğu anlamına mı geliyor?

machine-learning logistic-regression multilabel-classification

— Joydeep Bhattacharjee
kaynak

Bu soruyu en basit doğrusal sınıflandırıcılardan biri olan lojistik regresyon yoluyla cevaplamaya çalışacağım .

Lojistik regresyonun en basit örneği, bir ikili sınıflandırma görevimiz ( ve yalnızca bir giriş özelliğimiz ( ). Bu durumda lojistik regresyon çıktısı: $y \in\{0,1\})$ $x \in R$

\hat{y} = σ (w \cdot x + b)

$\hat y = σ(w \cdot x + b)$ burada

w

$w$ ve

b

$b$ her ikisi de skalerdir .

modelinin çıktısı,

sınıf

olması

\hat{y} \in [0, 1]

$\hat y \in [0,1]$ olasılığına karşılık gelir .

x

$x$

1

$1$

"Doğrusal sınıflandırıcılar özellikleri ve sınıflar arasında parametreleri paylaşmıyor" ifadesini iki parçaya ayırmaya çalışacağız . Lojistik regresyonun bu görevler için parametreleri paylaşıp paylaşmadığını görmek için çoklu özelliklerin ve çoklu sınıfların durumlarını ayrı ayrı inceleyeceğiz:

Doğrusal sınıflandırıcılar parametreleri özellikler arasında paylaşıyor mu?

Bu durumda, her örnek için, $y$ , ikili değerleri alan bir skalerdir (daha önce olduğu gibi), $x$ ise uzunluğunun bir vektörüdür (burada , özellik sayısıdır). Burada çıktı, girdi özelliklerinin doğrusal bir kombinasyonudur (yani, bu özelliklerin ağırlıklı bir toplamı ve sapmaların). $N$ $N$

\hat{y} = σ (\sum_{i}^{N} (w_{i} \cdot x_{i}) + b) o r σ (w \cdot x + b)

$\hat y = σ \left(\sum_i^N{(w_i \cdot x_i)} + b\right) \;\; or \;\; σ( \mathbf w \cdot \mathbf x + b)$ burada ve , uzunluğundaki vektörlerdir . ürünü bir skaler oluşturur. Yukarıdan görebileceğiniz gibi, her bir giriş özelliği için ayrı bir ağırlığı vardır ve bu ağırlıklar elbette bağımsızdır . Bundan, özellikler arasında parametre paylaşımı olmadığı sonucuna varabiliriz .

x

$\mathbf x$

w

$\mathbf w$

N

$N$

x \cdot w

$\mathbf x \cdot \mathbf w$

w_{i}

$w_i$

x_{i}

$x_i$

Doğrusal sınıflandırıcılar parametreleri sınıflar arasında paylaşır mı?

Bu durumda , bir skalerdir, ancak , uzunluğunun bir vektörüdür (burada , sınıf sayısıdır). Bunun üstesinden gelmek için, lojistik regresyon esasen her sınıfı için ayrı bir çıktısı üretir . Her çıkış bir ve sınıfına ait olasılığına karşılık gelir . $x$ $y$ $M$ $M$ $y_j$ $M$ $y_j \in [0,1]$ $x$ $j$

\hat{y} = w \cdot x + b, w h e r e \hat{y} = {\hat{y}}_{1}, {\hat{y}}_{2}, . . ., y_{M}

$\mathbf{ \hat y} = w \cdot \mathbf x + \mathbf b, \;\; where \;\; \mathbf{ \hat y} = {\hat y_1, \hat y_2, ..., y_M}$

Bunu düşünmenin en kolay yolu, her birinin çıktısı olan basit bağımsız lojistik regresyonlarıdır: $M$

{\hat{y}}_{j} = σ (w_{j} \cdot x + b_{j})

$\hat y_j = σ(w_j \cdot x + b_j)$

Yukarıdakilerden farklı sınıflar arasında ağırlıkların paylaşılmadığı açıktır .

çok özellikli ve çok sınıflı :

Yukarıdaki iki vakayı birleştirerek nihayet en genel çoklu özellik ve çoklu sınıf durumuna ulaşabiliriz:

\hat{y} = σ (W \cdot x + b)

$\mathbf{ \hat y} = σ( \mathbf W \cdot \mathbf x + \mathbf b)$ burada boyutunda bir vektör , boyutunda bir vektör , , boyutunda bir vektördür ve , boyut olarak olan bir matristir .

\hat{y}

$\mathbf{ \hat y}$

M

$M$

x

$\mathbf x$

N

$N$

b

$\mathbf b$

M

$M$

W

$W$

(N \times M)

$(N \times M)$

Her durumda, doğrusal sınıflandırıcılar özellikler veya sınıflar arasında herhangi bir parametre paylaşmaz .

İkinci sorunuzu cevaplamak için, lineer sınıflandırıcılar , özelliklerin bağımsız olması gerektiğinin altında yatan bir varsayıma sahiptir , ancak makalenin yazarı bu değildir .

— Djib2011
kaynak

Güzel açıklama. :)

— joydeep bhattacharjee