Çok terimli bir lojistik regresyon yapmak için glm algoritmalarını kullanabilir miyim?

Projemde istatistiksel analiz için spotfire (S ++) kullanıyorum ve büyük bir veri kümesi için multinomiyal lojistik regresyon çalıştırmak zorundayım. En iyi algoritma mlogit olacağını biliyorum, ama ne yazık ki bu s ++ mevcut değildir. Ancak, bu regresyon için glm algoritması kullanma seçeneğim var. Burada iki şeyi açıklığa kavuşturmak istiyorum:

1. glm'nin Multinomiyal Lojistik Regresyonu çalıştırmak için de kullanılabileceğini doğru mu?

1. Önceki soruya cevap evet ise, glm algo'da hangi parametreler kullanılmalıdır?

Teşekkürler,

Evet, Poisson GLM (log lineer model) ile multinom modellere sığabilirsiniz. Bu nedenle, çok terimli lojistik veya log doğrusal Poisson modelleri eşdeğerdir.

Sen rastgele sayıları görmek gerekir $y_{ij}$ anlamına ile Poisson rasgele değişkenler olarak ve aşağıdaki aşağıdaki log-lineer modeli belirtin$μ_{ij}$

$\log(μ_{ij}) = o + p_i + c_j + x_iβ_j$

Çok terimli bir logit modeli elde etmek için parametreler şunlardır:

Her bir çok- gözlem için bir parametre , örneğin bireyler veya grup. Bu, multinomiyal paydaların tam olarak çoğaltılmasını sağlar ve aslında Poisson ve multinom modelinin denkliğini oluşturur. Multinomiyal olasılıkta sabittirler, ancak Poisson olasılığında rastgele bulunurlar.$p_i$

Her yanıt kategorisi için bir parametresi . Bu şekilde sayımlar her bir yanıt kategorisi için farklı olabilir ve kenar boşlukları aynı olmayabilir.$c_j$

Ne gerçekten ilgilenen edilir etkileşim terimlerdir etkilerini temsil tepkisi log-oran üzerinde .$x_iβ_j$$x_i$$j$

Log olasılıkları . İ gözleminin, cevap kategorisi göre cevap kategorisi j'ye düşeceği log oranlarıdır .$\log(μ_{ij}/μ_{ik}) = (c_j-c_k) +x_i(β_j-β_k)$$k$

Daha sonra, multinomial logit modelindeki (latin harfleriyle gösterilen) parametreler, karşılık gelen log-lineer modeldeki parametreler arasındaki farklar olarak elde edilebilir, yani ve .$a_j = α_j-α_k$$b_j = β_j-β_k$

Evet, yapabilirsiniz ve aslında bu tam olarak GLMNET'in R-paketinin çok uluslu lojistik regresyon için yaptığı şeydir. Günlük olabilirlik fonksiyonunun şöyle yazılması:

$$LogL=\sum_i\sum_cn_{ic}\log(p_{ic})$$

Burada gözlemleri temsil eder ve çokterimli kategorileri belirtmektedir gözlem için gözlemlenen sayısıdır kategorisinde . Gözlemler, benzersiz ortak değişken kombinasyonları ile tanımlanır - veya alternatif olarak, yinelemelere izin verebilir ve her kategorik "ikili" verilere sahip olacak şekilde ayarlayabiliriz . ...). Lojistik regresyon için olasılıklar şu şekilde tanımlanır:$i$$c$$n_{ic}$$i$$c$$n_{ic}=1$

$$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\sum_{c'}\exp\left(x_{i}^T\beta_{c'}\right)}$$

Bu, tam sıra parametreden daha düşüktür ve cezalandırılmış olabilirlik (GLMNET gibi) kullanıyorsanız faydalı olabilir. Prensip olarak tam beta matrisinde IRLS / newton rhapson'u kullanabiliriz , ancak çapraz olmayan ağırlık matrisleri ile sonuçlanırsınız. Alternatif olarak, biri hariç tüm kategoriler betalarını düzelterek ve daha sonra bu kategorinin biraz üzerinde optimize ederek "Gibbs tarzı" optimize edebiliriz. Ardından bir sonraki kategoriye geçin, vb. Bunu görebilirsiniz, çünkü olasılıklar$(\beta_1,\dots,\beta_{C})$

$$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial A}{\partial \beta_c}=0$$ $$p_{ic'}=\frac{B}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial B}{\partial \beta_c}=0$$

ilgili karesel genişlemenin lojistik regresyon ile aynı forma sahip olacağı, ancak IRLS ağırlıkları farklı hesaplanmış olsa da - hala her zamanki beta güncellemesinde.$\beta_c$$W_{ii,c}=n_{ic}p_{ic}(1-p_{ic})$$(X^TWX)^{-1}X^TWY$