Lojistik regresyon için matris gösterimi

Doğrusal regresyonda (kare kaybı), matris kullanarak hedef için çok özlü bir gösterime sahibiz

minimize ‖ A x - b ‖^{2}

$\text{minimize}~~ \|Ax-b\|^2$

$A$ veri matrisi olduğu durumlarda , $x$ katsayılardır ve $b$ yanıttır.

Lojistik regresyon hedefi için benzer bir matris gösterimi var mı? Gördüğüm tüm gösterimler, tüm veri noktalarındaki toplamdan ( şeyden kurtulamaz $\sum_{\text data} \text{L}_\text{logistic}(y,\beta^Tx)$ .

EDIT: joceratops ve AdamO'nun harika cevabı için teşekkürler. Onların cevabı, lineer regresyonun daha özlü bir gösterime sahip olmasının bir başka nedeninin, kareyi ve toplamı veya e'yi çevreleyen normun tanımlanmasıdır $e^\top e$ . Ancak lojistik kayıpta, gösterimi biraz daha karmaşık hale getiren böyle bir tanım yoktur.

— Haitao Du
kaynak

Yanıtlar:

Doğrusal regresyonda, tahminine yönelik Olabilirlik Tahminini En Üst Düzeye Çıkar (MLE) çözümü aşağıdaki kapalı form çözümüne sahiptir (A'nın tam sütun sıralamasına sahip bir matris olduğu varsayılarak): $x$

{\hat{x}}_{lin} = \underset{x}{argmin} ‖ A x - b ‖_{2}^{2} = (A^{T} A)^{- 1} A^{T} b

$\hat{x}_\text{lin}=\underset{x}{\text{argmin}} \|Ax-b\|_2^2 = (A^TA)^{-1}A^Tb$

Bu, " objektif işlevini en aza indiren bul" olarak okunur . Doğrusal regresyon objektif işlevini bu şekilde temsil etmenin güzel yanı, her şeyi matris notasyonunda tutabilmemiz ve elle çözebilmemizdir . Alex R.'in belirttiği gibi, pratikte doğrudan hesaplama olarak verimsiz olduğu ve genellikle tam sıralama kriterlerini karşılamadığı için düşünmüyoruz. Bunun yerine, Moore-Penrose yalancı tersine dönüyoruz . Yalancı ters için hesaplamalı çözme ayrıntıları, Cholesky ayrışmasını veya Tekil Değer Ayrışmasını içerebilir. $x$ $\|Ax-b\|_2^2$ $\hat{x}_\text{lin}$ $(A^TA)^{-1}$ $A$

Alternatif olarak, lojistik regresyondaki katsayıları tahmin etmek için MLE çözümü:

{\hat{x}}_{log} = \underset{x}{argmin} \sum_{i = 1}^{N} y^{(i)} \log (1 + e^{- x^{T} a^{(i)}}) + (1 - y^{(i)}) \log (1 + e^{x^{T} a^{(i)}})

$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \sum_{i=1}^{N} y^{(i)}\log(1+e^{-x^Ta^{(i)}}) + (1-y^{(i)})\log(1+e^{x^T a^{(i)}})$

burada (her veri örneğinin satır olarak saklandığı varsayılarak):

$x$ bir vektörü regresyon katsayılarını temsil eder

$a^{(i)}$ bir vektör, veri matrisindeki örneği / satırı temsil eder $i^{th}$ $A$

$y^{(i)}$ bir skaler olan ve etiket tekabül numune $\{0, 1\}$ $i^{th}$ $i^{th}$

$N$ , veri matrisi veri örneği sayısı / satır sayısıdır . $A$

Yine bu, " nesnel işlevi en aza indiren bul" olarak okunur . $x$

İsterseniz, bir adım daha ileri gidebilir ve matris notasyonunda ifadesini aşağıdaki gibi temsil edebilirsiniz: $\hat{x}_\text{log}$

{\hat{x}}_{log} = \underset{x}{argmin} [\begin{matrix} 1 & (1 - y^{(1)}) \\ ⋮ & ⋮ \\ 1 & (1 - y^{(N)}) \end{matrix}] [\begin{matrix} \log (1 + e^{- x^{T} a^{(1)}}) & . . . & \log (1 + e^{- x^{T} a^{(N)}}) \\ \log (1 + e^{x^{T} a^{(1)}}) & . . . & \log (1 + e^{x^{T} a^{(N)}}) \end{matrix}]

$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \begin{bmatrix} 1 & (1-y^{(1)}) \\ \vdots & \vdots \\ 1 & (1-y^{(N)})\\\end{bmatrix} \begin{bmatrix} \log(1+e^{-x^Ta^{(1)}}) & ... & \log(1+e^{-x^Ta^{(N)}}) \\\log(1+e^{x^Ta^{(1)}}) & ... & \log(1+e^{x^Ta^{(N)}}) \end{bmatrix}$

ama bunu yapmaktan hiçbir şey kazanamazsınız. Lojistik regresyon kapalı bir form çözümüne sahip değildir ve matris notasyonunda temsil ederek lineer regresyon ile aynı faydaları elde etmez. için çözmek için degrade iniş ve Newton-Raphson yöntemi gibi tahmin teknikleri kullanılır. Bu tekniklerin bazıları (Newton-Raphson gibi) kullanılarak yaklaşır ve matris gösteriminde temsil edilir ( Alex R. tarafından sağlanan bağlantıya bakın ). $\hat{x}_\text{log}$ $\hat{x}_\text{log}$

— joceratops
kaynak

Harika. Teşekkürler. Sanırım şeyin olmamasının sebebinin matris notasyonunu yapmak ve toplam sembolünden kaçınmak için bu adımı daha fazla atmamamızın nedeni olduğunu düşünüyorum.

A^{⊤} A x = A^{⊤} b

$A^\top A x=A^\top b$

— Haitao Du

Bir adım daha ileri gitmenin bazı avantajları var, bunu matris çarpımına dönüştürmek kodu daha basit hale getirecek ve matlab gibi birçok platformda, tüm veriler üzerinde toplamla döngü için, matris işlemlerinden çok daha yavaş.

— Haitao Du

@ hxd1011: Sadece küçük bir yorum: matris denklemlerine indirgemek her zaman akıllıca değildir. Durumunda , aslında ters matrisi arayan çalışmamalıdır , daha ziyade çok daha hızlı ve daha sayısal olarak kararlı olacak Choleskey ayrışma böyle bir şey yapmak. Lojistik regresyon için, gerçekten matris hesaplamaları kullanan bir dizi farklı yineleme şeması vardır. Harika bir inceleme için buraya bakın: arastirma.microsoft.com/tr-tr/um/people/minka/papers/logreg/…

A^{T} A x = A^{T} b

$A^TAx=A^Tb$

A^{T} A

$A^TA$

— Alex R.

@AlexR. çok teşekkür ederim. Normal denklem kullanmanın matris koşullu sayının karesini alacağını öğrendim. Ve QR veya Cholesky çok daha iyi olurdu. Bağlantınız harika, sayısal yöntemlerle böyle bir inceleme her zaman istediğim şeydi.

— Haitao Du

@joceratops yanıtı, tahmin için maksimum olasılık optimizasyon problemine odaklanır. Bu gerçekten de pek çok soruna uyan esnek bir yaklaşımdır. Doğrusal ve lojistik regresyon modelleri de dahil olmak üzere çoğu modeli tahmin etmek için, moment tahmini yöntemine dayanan başka bir genel yaklaşım daha vardır.

Doğrusal regresyon tahmincisi , tahmin denkleminin kökü olarak da formüle edilebilir:

0 = X^{T} (Y - X β)

$0 = \mathbf{X}^T(Y - \mathbf{X}\beta)$

Bu bakımdan , ortalama 0 kalıntısı alan değer olarak görülür. Bu yorumu yapmak için herhangi bir temel olasılık modeline güvenmek gerekmez. Bununla birlikte, normal bir olasılık için skor denklemlerini türetmek ilginçtir, gerçekten de tam olarak yukarıda gösterilen formu aldıklarını göreceksiniz. Doğrusal bir model (örneğin, doğrusal veya lojistik regresyon) için düzenli üstel ailenin olasılığını en üst düzeye çıkarmak, puan denklemlerine çözüm elde etmeye eşdeğerdir. $\beta$

0 = \sum_{i = 1}^{n} S_{i} (α, β) = \frac{\partial}{\partial β} \log L (β, α, X, Y) = X^{T} (Y - g (X β))

$0 = \sum_{i=1}^n S_i(\alpha, \beta) = \frac{\partial}{\partial \beta} \log \mathcal{L}( \beta, \alpha, X, Y) = \mathbf{X}^T (Y - g(\mathbf{X}\beta))$

Burada değeri beklenen olan . GLM kestiriminde, bir link fonksiyonunun tersi olduğu söylenir. Normal olabilirlik denklemlerinde, kimlik fonksiyonudur ve lojistik regresyonda logit fonksiyonudur. Daha genel bir yaklaşım, model yanlış tanımlamasına izin veren gerektirir. $Y_i$ $g(\mathbf{X}_i \beta)$ $g$ $g^{-1}$ $g^{-1}$ $0 = \sum_{i=1}^n Y - g(\mathbf{X}_i\beta)$

Ayrıca, düzenli üstel aileler için buna ortalama-varyans ilişkisi denir. Gerçekten lojistik regresyon için, ortalama varyans ilişkisi, ortalama varyansla ilişkili olacak . Bu, yanlış tanımlanmış bir GLM'nin 0 ortalama Pearson kalıntısı veren bir model olarak yorumlanmasını önerir. Bu ayrıca orantılı olmayan fonksiyonel ortalama türevlere ve ortalama varyans ilişkilerine izin vermek için bir genelleme önerir. $\frac{\partial g(\mathbf{X}\beta)}{\partial \beta} = \mathbf{V}(g(\mathbf{X}\beta))$ $p = g(\mathbf{X}\beta)$ $\mbox{var}(Y_i) = p_i(1-p_i)$

Bir genelleştirilmiş tahmin denklemi yaklaşımı şu şekilde lineer modeller belirtmek istiyoruz:

0 = \frac{\partial g (X β)}{\partial β} V^{- 1} (Y - g (X β))

$0 = \frac{\partial g(\mathbf{X}\beta)}{\partial \beta} \mathbf{V}^{-1}\left(Y - g(\mathbf{X}\beta)\right)$

İle tarafından verilen donatılmış değere (ortalama) temel varyanslannın bir matrisi . Bu kestirim yaklaşımı, GLM'lerde olduğu gibi bir bağlantı fonksiyonu ve ortalama varyans ilişkisi seçmeyi sağlar. $\mathbf{V}$ $g(\mathbf{X}\beta)$

Lojistik regresyon olarak ters logit olur ve tarafından verilecek . Newton-Raphson tarafından elde edilen bu tahmin denkleminin çözümleri lojistik regresyondan elde edilen verecektir . Bununla birlikte, biraz daha geniş bir model sınıfı benzer bir çerçevede tahmin edilebilir. Örneğin, link fonksiyonu doğrusal tahmin edicinin log'u olarak alınabilir, böylece regresyon katsayıları olasılık oranları değil nispi risklerdir . Hangi - OR'leri RR olarak yorumlamanın iyi belgelenmiş tuzakları düşünüldüğünde - neden artık herkesin lojistik regresyon modellerine uyduğunu sormak için beni uyandırıyor. $g$ $V_{ii}$ $g(\mathbf{X}_i \beta)(1-g(\mathbf{X}\beta))$ $\beta$

— Adamo
kaynak

+1 harika cevap. türev üzerinde kök bulması benim için gerçekten yeni. ve ikinci denklem gerçekten kısa.

— Haitao Du