Lojistik regresyon ne zaman kapalı halde çözülür?

Al ve ve lojistik regresyon kullanılarak belirli bir x y tahmin görevini modeli varsayalım. Lojistik regresyon katsayıları ne zaman kapalı olarak yazılabilir?$x \in \{0,1\}^d$$y \in \{0,1\}$

Bir örnek, doymuş bir model kullanmamızdır.

Yani, , burada setleri güç kümesinde indeksler ve eğer 1 tüm değişkenler 'inci set aksi 1 ve 0 dır. Daha sonra bu lojistik regresyon modelindeki her bir , verinin istatistiklerinin rasyonel bir fonksiyonunun logaritması olarak ifade edebilirsiniz .$P(y|x) \propto \exp(\sum_i w_i f_i(x_i))$$i$$\{x_1,\ldots,x_d\}$$f_i$$i$$w_i$

Kapalı form olduğunda başka ilginç örnekler var mı?

Kjetil b halvorsen'ın işaret ettiği gibi, kendi başına, doğrusal regresyonun analitik bir çözüm getirdiği bir mucizedir. Ve bu sadece problemin doğrusallığı sayesinde (parametrelere göre). , ilk sipariş koşullarına sahip olan ile ilgili bir sorun için (sabit dahil gerekli-orada kökenli sorunlar üzerinden bazı regresyon, çok iseniz) değişkenleri, bu bir sistemdir denklemler ve bilinmeyenli. En önemlisi, doğrusal bir sistemdir, bu nedenle standart doğrusal cebir teorisi ve pratiğini kullanarak bir çözüm bulabilirsiniz.

$$\sum_i (y_i - x_i' \beta)^2 \to \min_\beta,$$ $$-2 \sum_i (y_i - x_i'\beta) x_i = 0$$ $p$$p$$p$. Tamamen collinear değişkenleriniz olmadıkça, bu olasılık 1 ile bir çözüme sahip olacaktır.

Şimdi, lojistik regresyon ile, işler artık o kadar kolay değil. Günlük olabilirlik işlevini not etmek, ve bulmak için türevini alarak, parametreleri bunu çok doğrusal olmayan bir şekilde girer: her , doğrusal olmayan bir işlev vardır ve bunlar birlikte eklenir. Analitik bir çözüm yoktur (muhtemelen iki gözlemle önemsiz bir durum dışında veya bunun gibi bir şey hariç) ve kullanmak zorundasınız.

$$l(y;x,\beta) = \sum_i y_i \ln p_i + (1-y_i) \ln(1-p_i), \quad p_i = (1+\exp(-\theta_i))^{-1}, \quad \theta_i = x_i' \beta,$$ $$\frac{\partial l}{\partial \beta'} = \sum_i \frac{{\rm d}p_i}{{\rm d}\theta}\Bigl( \frac{y_i}{p_i} - \frac{1-y_i}{1-p_i} \Bigr)x_i = \sum_i \Bigl[y_i-\frac1{1+\exp(x_i'\beta)}\Bigr]x_i$$ $\beta$$i$ tahminlerini bulmak için doğrusal olmayan optimizasyon yöntemleri .$\hat\beta$

Soruna biraz daha derinlemesine bakıldığında (ikinci türevi alarak), bunun bir içbükey işlev (maksimum yüceltilmiş bir çok değişkenli parabol) bulma konusunda dışbükey bir optimizasyon problemi olduğunu, bu nedenle birinin var olduğunu ve herhangi bir makul algoritmanın bunun yerine bulması gerektiğini ortaya koymaktadır. Çabuk, ya da şeyler sonsuzluğa patlar. İkincisi, bazı için olduğunda lojistik regresyonda olur , yani mükemmel bir tahmininiz vardır. Bu oldukça nahoş bir eserdir: Mükemmel bir tahminde bulunduğunuzda, modelin mükemmel çalıştığını, ama merakla yeterince, tam tersi olduğunu düşünürsünüz.${\rm Prob}[Y_i=1|x_i'\beta > c] = 1$$c$

Bu gönderi aslında eldeki soruya tam bir cevaptan ziyade uzun bir yorum olarak düşünülmüştü.

Söz konusu soruya ilgi sadece ikili davada mı yoksa belki de sürekli olabileceği veya başka ayrık değerler alabilecekleri daha genel durumlarda mı olduğu belli değil.

Soruyu tam olarak cevaplamayan, ancak ilişkili olan ve sevdiğim bir örnek, eşleştirilmiş karşılaştırmalar yoluyla elde edilen öğe tercih sıralamasıyla ilgileniyor. Bradley – Terry modeli, ve bir "yakınlık", "popülerlik" olduğu lojistik bir regresyon olarak ifade edilebilir. veya öğesinin "strength" parametresi ile , maddesini eşleştirilmiş bir karşılaştırmada maddesine tercih ettiğini gösterir .

$$\mathrm{logit}( \Pr(Y_{ij} = 1) ) = \alpha_i - \alpha_j ,$$ $\alpha_i$$i$$Y_{ij} = 1$$i$$j$

Eğer tam bir yuvarlak karşılaştırma dizisi gerçekleştirilirse (yani, sıralanmamış her çifti için çift yönlü bir tercih kaydedilir ), o zaman MLEs rütbe sırasına karşılık gelir. sıralaması , her nesnenin bir başkası üzerinde tercih toplamı.$(i,j)$$\hat{\alpha}_i$$S_i = \sum_{j \neq i} Y_{ij}$

Bunu yorumlamak için, en sevdiğiniz rekabetçi sporda tam bir tur turnuvası hayal edin. Ardından, bu sonuç Bradley-Terry modelinin oyuncuları / takımları kazanma yüzdelerine göre sıraladığını söylüyor. Bunun cesaret verici veya hayal kırıklığı yaratan bir sonuç olup olmadığı, bakış açınıza bağlı olduğunu düşünüyorum.

Not: Bu sıralama sırası sonucu, genel olarak tam bir tur oyununun oynanmaması durumunda geçerli olmaz.