Lojistik regresyon konusunda varsayım var mı?

Lojistik regresyonun tepki değişkeni üzerinde iid varsayımı var mı?

Örneğin, $1000$ veri noktamız olduğunu varsayalım . Görünüşe göre yanıtı , ile Bernoulli dağılımından geliyor . Bu nedenle, farklı parametre ile Bernoulli dağılımımız olmalıdır . $Y_i$ $p_i=\text{logit}(\beta_0+\beta_1 x_i)$ $1000$ $p$

Yani "bağımsız" fakat "özdeş" değiller.

Haklı mıyım?

PS. Varsayım hakkında çok fazla konuşmadan, objektif fonksiyonu optimize ettiğimiz ve verilerin test edilmesinde iyi olup olmadığını kontrol ettiğimiz "makine öğrenimi" literatüründen lojistik regresyon öğrendim.

Benim sorum bu yazıyla başladı Genelleştirilmiş Doğrusal Modelde Bağlantı İşlevini Anlayın İstatistiksel varsayımlar hakkında daha fazla bilgi edinmeye çalıştığım yer.

— Haitao Du
kaynak

"Varsayım" bir teoremin sahip olabileceği bir şeydir. Doğrusal regresyon, Gauss-Markov teoreminin bu varsayımı taşıması bakımından, iid hatalarının "varsayımına" sahiptir ( doğrusal regresyonda "varsayıldığı"

y

$y$ " değildir ! Hatalar). Şimdi kişinin lojistik regresyon için aklı olduğu teoremi var mı? Değilse, hiçbir "varsayım" yoktur.

— amip, Reinstate Monica'yı

@Amoeba, hxd, dağılımların aynı olmadığını belirterek doğrudur : "iid" uygulanmaz. Eğer bir kişi lojistik regresyonu sadece uygunluğu için kullanıyorsa, (siz yazarken) belki de birkaç varsayım gereklidir; ancak en kısa sürede bir markaları yapı tahmini aralıkları için katsayılar veya isteklerine tahmini kovaryans matrisinin kullandıkça (ya da bu konuda, çapraz doğrulamak değerleri tahmin edilen), daha sonra bu olasılık çıkarımı gerektirmektedir. Alışılmış olan cevapların bağımsız olmasıdır.

— whuber

@amoeba, parametrelerin tahminlerini hesaplamak yerine çıkarım (hipotez testleri, güven aralıkları vb.) yapmak istediğinizde, ilgili null dağılımı İstenilen kapsama alanına sahip bir aralık için istatistik veya gerekli hesaplamaları test edin. Nispeten düşük varsayım prosedürlerinin bile hala varsayımları vardır ve çıkarımlarımızı önemsersek, nominal özelliklerine yakın bir şeyleri olup olmadıklarına dikkat edeceğiz.

— Glen_b-Monica

@ amiba, MLE'nin asimptotik normalliklerini gösteren bir teoremi seviyorum. Ayrıca olasılık oranı testini de seviyorum.

— gammer

Hepsi aynı öngörücü değere sahip olmadıkça marjinal dağılımları aynı değildir, bu durumda sadece IID bernoulli denemeleri yaparsınız. Koşullu dağılımları (öngörücü göz önüne alındığında) hepsi aynıdır, ancak normalde bu durumda

IID olduğunu söyleyeceğinizi düşünmüyorum .

Y_{i}

$Y_i$

— gammer

Yanıtlar:

Önceki sorunuza itibaren size GLM olasılık dağılımı, doğrusal tahmin açısından anlatılmıştır öğrendik ve bağlantı fonksiyonu ve olarak tarif edilir $\eta$ $g$

\begin{aligned} η & = X β \\ E (Y | X) & = μ = g^{- 1} (η) \end{aligned}

$\begin{align} \eta &= X\beta \\ E(Y|X) &= \mu = g^{-1}(\eta) \end{align}$

burada bir logit bağlantı fonksiyonudur ve bir Bernoulli dağılımını takip ettiği varsayılır $g$ $Y$

Y_{i} \sim B (μ_{i})

$Y_i \sim \mathcal{B}(\mu_i)$

her Bernoulli dağılımını kendi ortalaması ile takip eder $Y_i$ şartına bağlıdır . Biz edilirdeğil, her varsayarak aynı ortalama, aynı dağıtım gelir (bu kesişme tek model olur ), ancak hepsi farklı araçlara sahip olduğu. 'ninbağımsızolduğunu varsayıyoruz, yani sonraki değerleriarasındaki otokorelasyon gibi şeyler hakkında endişelenmemiz gerekmiyor. $\mu_i$ $X$ $Y_i$ $Y_i = g^{-1}(\mu)$ $Y_i$ $Y_i$

İid varsayım modeli lineer regresyon (örneğin Gauss GLM), hatalar ile ilgilidir

y_{i} = β_{0} + β_{1} x_{i} + ε_{i} = μ_{i} + ε_{i}

$y_i = \beta_0 + \beta_1 x_i + \varepsilon_i = \mu_i + \varepsilon_i$

burada , bu yüzden civarında iid gürültüsü var . Bu nedenle artıkların teşhisi ile ilgilenir ve kalanlara karşı yerleştirilmiş arsaya dikkat edin . Şimdi, GLM'nin lojistik regresyonu durumunda, o kadar basit değil, çünkü Gauss modelinde olduğu gibi ek bir gürültü terimi yoktur ( buraya , buraya ve buraya bakınız) $\varepsilon_i \sim \mathcal{N}(0, \sigma^2)$ $\mu_i$ ). Artıkların sıfır civarında "rastgele" olmasını istiyoruz ve içlerinde herhangi bir eğilim görmek istemiyoruz, çünkü modelde hesaba katılmayan bazı efektler olduğunu öne sürüyorlar, ancak bunların normal ve / veya iid . Ayrıca bkz . İstatistiksel öğrenme dizisinde iid varsayımının önemi hakkında .

Bir sidenote olarak, her bir aynı tür dağıtımdan geldiği varsayımını bile düşürebileceğimizi fark edin . Farklı varsayılmaktadır (non-GLM) modeli vardır 'nin farklı parametreler, yani veri bir geldiğini farklı dağılımlar olabilir farklı dağılımların karışımı . Bu durumda biz de varsayılabilir değerleridir bağımsız farklı parametrelere sahip farklı dağılımlar (yani tipik gerçek dünya verileri) gelen bağımlı değerler beri, çoğu durumda çok modeli (genellikle imkansızdır) karmaşık olacağı bir şeydir . $Y_i$ $Y_i$ $Y_i$

— Tim
kaynak

Belirtildiği gibi, çoğu zaman doğrusal regresyondaki iid hataları örneğini düşünürken , bunun çoğu genelleştirilmiş doğrusal modelde (lojistik regresyon dahil) doğrudan bir eşdeğeri yoktur. Lojistik regresyonda, tipik olarak hepsinin çok sıkı bir ilişkisi olan sonuçların bağımsızlığı varsayımını kullanırız (yani log olasılıkları üzerinde doğrusal etkiler). Ancak bunlar, aynı olmayan ve değişken bir terim ile doğrusal regresyonda olduğu gibi sabit bir terim ve bir iid hatasına ayrıştırılamayan rasgele değişkenlerle sonuçlanır.

Yanıtların bir tür iid ilişkisi olduğunu gerçekten göstermek istiyorsanız, bir sonraki paragraf için beni takip edin. Sadece bu fikrin gittiği yoldan biraz uzakta olduğunu bilin; profesörünüz sabırsızsa finalde bu yanıt için tam kredi alamayabilirsiniz.

Rastgele değişkenler oluşturmak için ters cdf yöntemini biliyor olabilirsiniz. Değilse, burada bir tazeleme: if kümülatif dağılım fonksiyonu vardır , o zaman rastgele gelen çizer üretebilir $X$ $F_X$ $X$ çizer birinci rasgele alınarak daha sonra hesaplama $q \sim \text{uniform(0,1)}$ $X = F_X^{-1}(q)$ . Bunun lojistik regresyon ile ilişkisi nedir? Yanıtlarımız için üretim sürecinin iki kısmı olduğunu düşünebiliriz; ortak değişkenleri başarı olasılıklarıyla ilişkilendiren sabit bir bölüm ve sabit bölüm üzerinde koşullu rastgele değişkenin değerini belirleyen rastgele bir bölüm. Sabit parça lojistik regresyon, yani bağlantı fonksiyonu ile tanımlanır . Rastgele kısım için, yi olasılıklı Bernoulli dağılımı için cdf olarak tanımlayalım . O zaman yanıt değişkenini düşünebiliriz $p = \text{expit}(\beta_o + \beta_1 x)$ $F_Y( y | p)$ $p$ Aşağıdaki üç adım oluşturulur: $Y_i$

1.) $p_i = \text{expit}(\beta_o + \beta_1 x_i)$

2.) $q_i \sim\text{uniform(0,1)}$

3.) $Y_i = F^{-1}(q_i | p_i)$

O zaman lojistik regresyondaki standart varsayım, iid olduğudur. $q_i$

— Cliff AB
kaynak

q_{i}

$q_i$

Y_{i} \sim B (p_{i})

$Y_i \sim \mathcal{B}(p_i)$

Y_{i}

$Y_i$

p_{i}

$p_i$

q_{i}

$q_i$

@Tim: evet, cevabın ikinci kısmı kısa bir cevaptan daha ilginç bir yan not. Ancak ona bakmak için yararlı bir yol olabilir; sonuçta, bu temelde bilgisayarınız bu modellerden veri simülasyonu!

— Cliff AB