Lojistik Regresyon Kalıntılarının Diğer Regresörlere Regresyonu

Sürekli yanıta uygulanan OLS regresyonu ile, her bir ortak değişken üzerinde artıkların regresyonlarını sırayla çalıştırarak çoklu regresyon denklemi oluşturulabilir. Benim sorum, bunu lojistik regresyon artıklarıyla lojistik regresyon ile yapmanın bir yolu var mı?

Yani, tahmin etmek istersem $\Pr(Y = 1 | x, z)$standart genelleştirilmiş doğrusal modelleme yaklaşımını kullanarak, karşı lojistik regresyonu çalıştırmanın ve sahte kalıntılarını elde etmenin bir yolu var , daha sonra lojistik regresyon katsayılarının tarafsız bir tahmincisini elde etmek için üzerinde basın . Ders kitaplarına veya literatüre yapılan atıflar takdir edilecektir.$x$$R_1$$R_1$$z$

Standart çoklu doğrusal regresyonda, normal-en küçük kareler (OLS) tahminlerini iki adımda sığdırma yeteneği Frisch-Waugh-Lovell teoreminden gelir . Bu teorem, çok doğrusal bir modelde belirli bir yordayıcı için bir katsayı tahmininin, yanıt kalıntılarının (yanıt değişkeninin diğer açıklayıcı değişkenlere karşı regresyonundan kalan artıklar ) yordayıcı kalıntılarına (kalıntılar) gerilemesi ile elde edilen tahmine eşit olduğunu gösterir. yordayıcı değişkenin diğer açıklayıcı değişkenlere karşı gerilemesinden ). Açıkçası, lojistik regresyon modelinde kullanılabilecek bu teorime bir benzetme arayışındasınız.

Bu soru için, lojistik regresyonun gizli-değişken karakterizasyonunu hatırlamakta fayda vardır :

$$Y_i = \mathbb{I}(Y_i^* > 0) \quad \quad \quad Y_i^* = \beta_0 + \beta_X x_i + \beta_Z z_i + \varepsilon_i \quad \quad \quad \varepsilon_i \sim \text{IID Logistic}(0,1).$$

Modelin bu karakterizasyonunda gizli yanıt değişkeni $Y_i^*$ gözlemlenemez ve bunun yerine göstergeyi gözlemleriz $Y_i$bu da bize gizli yanıtın olumlu olup olmadığını söyler. Modelin bu formu, birden fazla doğrusal regresyona benziyor, ancak biraz farklı bir hata dağılımı (normal dağılım yerine lojistik dağıtım) kullanıyoruz ve daha da önemlisi, sadece gizli yanıtın olumlu olup olmadığını gösteren bir gösterge gözlemliyoruz .

Bu, modelin iki adımlı uyumunu oluşturma girişimleri için bir sorun oluşturur. Bu Frisch-Waugh-Lovell teoremi, diğer açıklayıcı değişkenlere karşı alınan ilginin yanıtı ve öngörücüsü için ara artıklar elde etme yeteneğine dayanır. Mevcut durumda, artıkları sadece "kategorize edilmiş" bir cevap değişkeninden elde edebiliriz. Lojistik regresyon için iki aşamalı bir uyum süreci oluşturmak, temel gizli yanıta erişim olmadan bu kategorize edilmiş yanıt değişkeninden yanıt kalıntılarını kullanmanızı gerektirir. Bu bana büyük bir engel gibi görünüyor ve imkansızlığı kanıtlamasa da, modele iki adımda sığması mümkün görünmüyor.

Aşağıda size, lojistik regresyona uyacak iki adımlı bir süreç bulmak için neyin gerekli olacağına dair bir açıklama vereceğim. Bu soruna bir çözüm olup olmadığından veya imkansızlığın bir kanıtı olup olmadığından emin değilim, ancak buradaki malzeme size neyin gerekli olduğunu anlamanız için bir yol bulmalıdır.

---

İki adımlı bir lojistik regresyon uyumu nasıl olurdu? Her bir adımda parametrelerin maksimum olabilirlik tahmini ile tahmin edildiği bir lojistik regresyon modeli için iki aşamalı bir uyum oluşturmak istediğimizi varsayalım. Sürecin, aşağıdaki iki modele uyan bir ara adım içermesini istiyoruz:

$$\begin{matrix} Y_i = \mathbb{I}(Y_i^{**} > 0) & & & Y_i^{**} = \alpha_0 + \alpha_X x_i + \tau_i & & & \tau_i \sim \text{IID Logistic}(0,1), \\[6pt] & & & \text{ } \text{ } Z_i = \gamma_0 + \gamma_X x_i + \delta_i & & & \delta_i \sim \text{IID } g. \quad \quad \quad \quad \quad \\ \end{matrix}$$

Bu modellerin katsayılarını (MLE'ler aracılığıyla) tahmin ediyoruz ve bu ara uyum değerleri sağlıyor $\hat{\alpha}_0, \hat{\alpha}_X, \hat{\gamma}_0, \hat{\gamma}_X$. Sonra ikinci adımda modele uyuyoruz:

$$Y_i = \text{logistic}(\hat{\alpha}_0 + \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i) + \epsilon_i \quad \quad \quad \epsilon_i \sim \text{IID } f.$$

Belirtildiği gibi, prosedürün birçok sabit elemanı vardır, ancak yoğunluk fonksiyonları $g$ ve $f$bu adımlarda belirtilmemiş bırakılır (yine de verilere bağlı olmayan sıfır ortalama dağılımlar olmalıdır). Bu kısıtlamalar altında iki aşamalı bir montaj yöntemi elde etmek için seçmemiz gerekir$g$ ve $f$ MLE sağlamak için $\beta_Z$ bu iki aşamalı modele uyum algoritması, yukarıdaki tek aşamalı lojistik regresyon modelinden elde edilen MLE ile aynıdır.

Bunun mümkün olup olmadığını görmek için, ilk önce tüm tahmini parametreleri yazıyoruz:

$$\begin{equation} \begin{aligned} \ell_{\mathbf{y}| \mathbf{x}} (\hat{\alpha}_0, \hat{\alpha}_X) &= \underset{\alpha_0, \alpha_X}{\max} \sum_{i=1}^n \ln \text{Bern}(y_i | \text{logistic}(\alpha_0 + \alpha_X x_i)), \\[10pt] \ell_{\mathbf{z}| \mathbf{x}} (\hat{\gamma}_0, \hat{\gamma}_X) &= \underset{\gamma_0, \gamma_X}{\max} \sum_{i=1}^n \ln g( z_i - \gamma_0 - \gamma_X x_i ). \end{aligned} \end{equation}$$

İzin Vermek $\epsilon_i = y_i - \text{logistic}(\hat{\alpha}_0 - \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i)$ böylece ikinci adım için günlük olabilirlik işlevi:

$$\ell_{\mathbf{y}|\mathbf{z}|\mathbf{x}}(\beta_Z) = \sum_{i=1}^n \ln f(y_i - \text{logistic}(\hat{\alpha}_0 - \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i)).$$

Bu işlevin maksimize edici değerinin çoklu lojistik regresyon modelinin MLE'si olmasını istiyoruz. Başka bir deyişle, şunlara ihtiyacımız var:

$$\underset{\beta_X}{\text{arg max }} \ell_{\mathbf{y}|\mathbf{z}|\mathbf{x}}(\beta_Z) = \underset{\beta_X}{\text{arg max }} \underset{\beta_0, \beta_Z}{\max} \sum_{i=1}^n \ln \text{Bern}(y_i | \text{logistic}(\beta_0 + \beta_X x_i + \beta_Z z_i)).$$

Bu soruna bir çözüm olup olmadığını veya çözüm olmadığını gösteren bir kanıt olup olmadığını belirlemek için başkalarına bırakıyorum. Bir lojistik regresyonda gizli yanıt değişkeninin "kategorileştirilmesinin" iki aşamalı bir süreç bulmayı imkansız hale getireceğinden şüpheleniyorum.

Soruyu yanlış yorumluyor olabilirim. Şüpheliyim OP'nin belirttiği şekilde artıklar üzerindeki gerileme ile lineer regresyon denklemini oluşturabilirsiniz . OP'nin yöntemi sadece öngörücüler birbirinden bağımsızsa işe yarayacaktır.

Çalışmasını sağlamak için, $y$ sonuç vektörü, $X$ zaten modelde olan öngörücüler için model matrisidir ve $x_1$. Regresyonun kalanını geri almanız gerekir$y$ üzerinde $X$ regresyon kalıntısına karşı $x_1$ üzerinde $X$ için OLS katsayısının elde edilmesi $x_1$.

İşte basit bir örnek:

set.seed(12345)
n <- 5000
x1 <- rnorm(n)
x2 <- .5 * x1 + rnorm(n) # Correlated predictors
y <- x1 + x2 + rnorm(n)

OLS ile uyumlu model:

coef(lm(y ~ x1 + x2))
(Intercept)          x1          x2 
0.001653707 1.037426007 0.996259446 

Kalanlar üzerindeki gerileme:

coef(lm(residuals(lm(y ~ x1)) ~ x2))
(Intercept)          x2 
0.001219232 0.818774874 

Bu yanlış, uymanız gerekiyor:

coef(lm(residuals(lm(y ~ x1)) ~ residuals(lm(x2 ~ x1))))
           (Intercept) residuals(lm(x2 ~ x1)) 
         -6.707350e-17           9.962594e-01 

Bu, x2 için doğru katsayıyı döndürür; bu, x1'de sabit tutarak (hem y hem de x1'den çıkarılırsa) x2'deki farklılıklar göz önüne alındığında y'de beklenen farklılıklar ile hizalanır.

Bunun yanı sıra, lojistik regresyonda, daha da sorunlu olacaktır çünkü lojistik regresyon katsayıları, karışık ilişkilerin yokluğunda bile atlanan değişken önyargıdan muzdariptir, buraya bakın ve buraya bakın , bu nedenle sonucun tüm tahmincileri modelde değilse, elde edilemez gerçek popülasyon parametrelerinin tarafsız tahminleri. Dahası, tüm değerlerin 0 ile 1 arasında olduğu ikinci bir lojistik gerilemeye uygun olan modelden herhangi bir artık bilmiyorum.

Artıklarda gerileme ile ilgili bazı referanslar:

• Maxwell, SE, Delaney, HD ve Manheimer, JM (1985). Artıklar ve Ancova Anovaları: Model Karşılaştırma ve Grafikler Kullanarak Bir Yanılsamayı Düzeltmek. Eğitim İstatistikleri Dergisi, 10 (3), 197-209. AlınanHttp://journals.sagepub.com/doi/pdf/10.3102/10769986010003197 adresinden
• Freckleton, RP (2002), Artıkların ekolojide kötüye kullanılması üzerine: artıkların gerilemesi ve çoklu regresyon. Hayvan Ekolojisi Dergisi, 71 , 542-545. DOI: 10,1046 / j.1365-2656.2002.00618.x

Umarım sorunuzu yanlış yorumlamıyorum, çünkü cevabım konunuzu nasıl ifade ettiğinizle ilgili ifadeyi biraz değiştirecek.

Sanırım yapmaya çalıştığınız şey, bir seferde bir bağımsız değişken ekleyerek regresyon modelinizi oluşturmaktır. Ve bunu, hangi prospektif değişkenin Y ve X1 arasındaki ilk regresyonunuzun kalıntısı ile en yüksek korelasyona sahip olduğunu gözlemleyerek yaparsınız. Bu nedenle, bu ilk artık ile en yüksek korelasyona sahip değişken X2 olacaktır. Şimdi, iki bağımsız değişkeni X1 ve X2 olan bir modeliniz var. Ve X3, X4 vb. Seçmek için bu işleme devam edersiniz. Bu adım adım ileri bir işlemdir.

Lojistik Regresyonun, bağımlı değişkenin tek (veya logit) günlüğü olduğu hemen hemen bir OLS Regresyonu olmasının basit bir nedeni için Lojistik Regresyon ile aynı şeyi yapabilirsiniz. Ancak, Y'nin bir logit olup olmadığı, yukarıda belirtilen aşamalı ileri işlemi etkilemez.

OLS, gerçek verilere uyacak şekilde kare hatalarının toplamını en aza indirir. Logit regresyonu, OLS'den farklı olmayan bir uyum üreten bir maksimum olasılık süreci kullanır. Ve bu da (montaj mekanizması), ister bir OLS Regresyonu ister bir Logit Regresyonu olsun, çoklu regresyon modelinizi oluşturmanıza izin veren adım adım ileri süreci etkilememelidir.