“Doğrusal” ile “doğrusal olmayan” regresyon arasında bir ayrım yapmak neden önemlidir?

12

Doğrusal ve doğrusal olmayan modeller arasındaki ayrımın önemi nedir? Doğrusal ve genelleştirilmiş doğrusal model sorusu : Lojistik, Poisson vb. Regresyondan nasıl bahsediyorsunuz? ve cevabı genelleştirilmiş doğrusal modellerin doğrusallığı / doğrusal olmama durumu hakkında son derece yararlı bir açıklama idi. Doğrusal olanı doğrusal olmayan modellerden ayırmak kritik öneme sahip görünüyor, ama bana neden açık değil? Örneğin, şu regresyon modellerini düşünün:

\begin{aligned} (1) & E [Y | X] & = β_{0} + β_{1} X \\ (2) & E [Y | X] & = β_{0} + β_{1} X + β_{2} X^{2} \\ (3) & E [Y | X] & = β_{0} + β_{1}^{2} X \\ (4) & E [Y | X] & = {1 + tecrübe (- [β_{0} + β_{1} X]}^{- 1} \end{aligned}

$\begin{align} E[Y \mid X] & = \beta_0 + \beta_1 X \tag{1} \\ E[Y \mid X] & = \beta_0 + \beta_1 X + \beta_2 X^2 \tag{2} \\ E[Y \mid X] & = \beta_0 + \beta_1^2 X \tag{3} \\ E[Y \mid X] & = \{1+\exp(-[ \beta_0 + \beta_1 X]\}^{-1} \tag{4} \end{align}$

Her iki Model 1 ve 2 doğrusaldır ve çözümleri kapalı bir formda bulunur ve standart bir OLS tahmincisi kullanılarak kolayca bulunur. O kadar (bazı) türevleri için doğrusal olmayan, 3 ve 4'e ilişkin wrt hala fonksiyonlarıdır . $\beta$ $E[Y\mid X]$ $\beta$ $\beta$

Tahmin etmek için basit bir çözüm Model 3'te ayarı ile bir model düz hale getirmek üzere bir , tahmin lineer model kullanılarak ve daha sonra işlem . $\beta_1$ $\gamma = \beta_1^2$ $\gamma$ $\beta_1 = \sqrt{\gamma}$

Model 4'teki parametreleri tahmin etmek için, bir binom dağılımını (üstel ailenin üyesi) takip ettiğini varsayabiliriz ve modelin lojistik formunun kanonik bağlantı olduğu gerçeğini kullanarak, modelin rh'lerini doğrusallaştırırız. Bu Nelder ve Wedderburn'ün seminal katkısıydı. $Y$

Peki bu doğrusal olmama neden bir sorun? Neden kare kökü işlevini kullanarak doğrusallaştırmadan Model 3'ü veya GLM'leri çağırmadan Model 4'ü çözmek için bazı yinelemeli algoritmaları kullanamazsınız. İstatistikçilerin yaygın hesaplama gücünden önce her şeyi doğrusallaştırmaya çalıştıklarından şüpheleniyorum. Doğruysa, belki de doğrusal olmamanın getirdiği “sorunlar” geçmişin kalıntısıdır? Doğrusal olmayan modellerin getirdiği komplikasyonlar yalnızca hesaplamalı mıdır, yoksa doğrusal olmayan modelleri doğrusal modellere göre verilere uymayı zorlaştıran başka teorik konular var mı?

linear-model nonlinear-regression nonlinear

— user1849779
kaynak

1

değerini tahmin etmek istiyorsanız , sadece (basit doğrusal regresyon) ...

E [Y | X] = β_{0} + β_{1}^{2} X

$E[Y|X] = \beta_0 + \beta_1^2 X$

E [Y | X] = β_{0} + γ X

$E[Y|X] = \beta_0 + \gamma X$

β_{1} = \sqrt{γ}

$\beta_1 = \sqrt{\gamma}$

— Tim

@ Zaman, yorum için teşekkürler. Bu dönüşümün bir olasılık olarak farkındaydım, ama biraz farklı bir soru sormaya çalışıyordum. Soruyu büyük ölçüde düzenledim, umarım daha iyisi için.

— user1849779

5

İki ana farklılık görebiliyorum:

doğrusallık onu basit ve sağlam hale getirir. Örneğin, (doğrusal) OLS, bilinmeyen rahatsızlık dağılımı altında tarafsız bir tahmin edicidir. Genel olarak, GLM ve lineer olmayan modeller değildir. OLS ayrıca doğrusal olmayan modellerde tipik olarak bu terimlerin tam dağılımını üstlenmeniz gereken çeşitli hata yapısı modeli (rastgele efektler, kümeleme vb.) İçin de sağlamdır.
Bunu çözmek kolaydır: sadece birkaç matris çarpımı + 1 ters. Bu, objektif fonksiyonun neredeyse düz (çoklu doğrusallık) olduğu durumlarda bile neredeyse her zaman çözebileceğiniz anlamına gelir. Yinelemeli yöntemler bu tür sorunlu durumlarda (bir anlamda iyi bir şeydir) birleşmeyebilir. günümüzde daha az sorun değil. Bilgisayarlar hızlanır, ancak veriler büyür. Hiç 1G gözlemlerinde logit regresyonu yapmaya çalıştınız mı?

Bunun yanı sıra, doğrusal modellerin yorumlanması daha kolaydır. Doğrusal modellerde marjinal etkiler katsayılara eşittir ve X değerlerinden bağımsızdır (polinom terimleri bu basitliği bertaraf etmesine rağmen).

— Ott Toomet
kaynak

Ben esas olarak kolaylık veya tarihsel kullanım biri olarak ayrım.

— Martha

2

Biyolojideki (ve diğer alanlardaki) birçok model doğrusal değildir, bu nedenle doğrusal olmayan regresyona en uygun olanlardır. Matematik elbette çok farklı. Ancak veri analistinin bakış açısına göre, gerçekten sadece önemli bir fark vardır.

Doğrusal olmayan regresyon, her parametre için başlangıç tahmini değerleri gerektirir. Bu ilk tahminler yoldan çıkarsa, doğrusal olmayan regresyon programı yanlış bir minimumda birleşebilir ve işe yaramaz veya yanıltıcı sonuçlar verebilir.

— Harvey Motulsky
kaynak

2

Bu kesinlikle cevabın bir parçası. Ancak, tek farkın küçük bir teknikliğe karşılık gelen bir şey olduğunu iddia ederek, doğrusal olmayan modellerin sorunlarını aşırı derecede minimize ediyor olabilirsiniz. Örneğin, biyolojide ortaya çıkan bazı basit olanlar, hepsi küresel minimaya yakın olan farklı yerel minimalara sahip olabilir. Bu temel nitel sorun, gelişmiş bilgi işlem gücü veya daha iyi optimizasyon teknikleri ile çözülmez: Doğrusal olmayan birçok modelin doğası, anlamları ve yorumları hakkında derin düşünce gerektirecekleri lineer modellerden o kadar farklıdır.

— whuber

1

İlk olarak 'model' kelimesini 'regresyon' kelimesinin yerine kullanacağım. Bence her iki kelime için de, modeli tanımlayan ilgili denklemlerin ne olduğunu ve bağımlı değişkenin değerleri ile denklem / model tarafından öngörülen değerler ile ilgili ilgili hipotezin ne olduğunu soruyorum. 'Model' teriminin daha standart olduğunu düşünüyorum. Buna katılıyorsanız okumaya devam edin.

$\phi_1, \ldots, \phi_n$ $\phi_1, \ldots, \phi_n$ $\phi_i = x^i$ $\epsilon_i = y_i - \sum a_{ij}x^j$ Gauss'ludur. Imho, bence wikipedia genel lineer modellerin çok makul bir açıklamasına sahip. Bence bu anahtar cümle - "GLM, lineer modelin bir bağlantı fonksiyonu ile yanıt değişkeniyle ilişkili olmasına izin vererek ve her ölçümün varyansının büyüklüğünün öngörülen değerinin bir fonksiyonu olmasını sağlayarak doğrusal regresyonu genelleştirir. " Yani bir glm daha genel bir hata terimine izin verir. Bu modellemede daha fazla esneklik sağlar. Fiyat ? Doğru modeli hesaplamak daha zordur. Artık katsayıları hesaplamak için basit bir yöntem yoktur. Doğrusal bir regresyon katsayıları, benzersiz bir minimum değere sahip kuadratik bir işlevin en aza indirilmesiyle bulunabilir. Borat'ın sözleriyle, bir glm için, çok fazla değil. Kişi mle'yi hesaplamalıdır,

— meh
kaynak

1

Doğrusal olmayan bir model, artıkların bir Gauss dağılımından örneklendiğini varsayabilir. Basit bir örnek, substrat konsantrasyonunun (X) bir fonksiyonu olarak enzim aktivitesidir (Y). Y = Vmax * X / (Km + X) Kalıntıların gaussian olduğunu varsaymak yaygın ve mantıklıdır, ancak bu doğrusal olmayan regresyona uyan doğrusal olmayan bir denklemdir.

— Harvey Motulsky

2

Doğrusal olmayan modeller GLM'lerden çok daha fazlasını içerir. GLM'ler popülerdir, çünkü parametrelerde "neredeyse" doğrusaldırlar: tüm doğrusal olmama durumu tek bir değişken olan "bağlantı" işleviyle sınırlıdır. Bu, nispeten verimli ve güvenilir çözümlere olanak tanır. Diğer doğrusal olmayan modeller çok daha az izlenebilirdir. Doğrusallık kavramı, artıkların doğasından büyük ölçüde ayrıdır, ancak bazı durumlarda, ilave kalıntıları diğer varyasyon formlarından ayırmak yararlıdır .

— whuber