Çok değişkenli doğrusal regresyon ve çeşitli tek değişkenli regresyon modelleri

Tek değişkenli regresyon ayarlarında,

burada bir vektör gözlem ve tasarım matris belirleyicileri. Çözüm .$y \in \mathbb{R}^n$$n$$X \in \mathbb{R}^{n \times m}$$m$$\beta_0 = (X^TX)^{-1}Xy$

Çok değişkenli regresyon ayarlarında,

burada gözlem matrisidir ve farklı gizli değişkenler. Çözüm .$y \in \mathbb{R}^{n \times p}$$n$$p$$\beta_0 = (X^TX)^{-1}XY$

Sorum şu: farklı tek değişkenli doğrusal regresyon yapmaktan ne kadar farklı? Burada , ikinci durumda bağımlı değişkenler arasındaki korelasyonu dikkate aldığımızı okudum , ama bunu matematikten görmüyorum.$p$

Klasik çok değişkenli lineer regresyon ortamında, modelimiz var:

burada bağımsız değişkenleri, birden fazla tepki değişkenini temsil eder ve bir iid Gauss gürültü terimidir. Gürültü sıfır ortalamaya sahiptir ve yanıt değişkenleri arasında ilişkilendirilebilir. Ağırlıklar için maksimum olabilirlik çözümü en küçük kareler çözümüne eşdeğerdir (gürültü korelasyonlarına bakılmaksızın) [1] [2]:$X$$Y$$\epsilon$

Bu, her tepki değişkeni için ayrı bir regresyon probleminin bağımsız olarak çözülmesine eşdeğerdir. Bu durum görülebilir olduğu inci kolon (ağırlıkları içeren çarpılmasıyla elde edilebilir inci çıkış değişkeni) ile sütunu ( yanıt değişkeninin değerlerini içerir ).$i$$\hat{\beta}$$i$$(X^T X)^{-1} X^T$$i$$Y$$i$

Bununla birlikte, çok değişkenli lineer regresyon, bireysel regresyon problemlerini ayrı ayrı çözmekten farklıdır, çünkü istatistiksel çıkarım prosedürleri çoklu cevap değişkenleri arasındaki korelasyonları açıklar (örneğin bkz. [2], [3], [4]). Örneğin, gürültü kovaryans matrisi örnekleme dağılımlarında, test istatistiklerinde ve aralık tahminlerinde gösterilir.

Her yanıt değişkeninin kendi ortak değişkenlerine sahip olmasına izin verirsek başka bir fark ortaya çıkar:

burada yanıt değişkenini temsil eder ve ve karşılık gelen eş değişkenler ve gürültü terimini temsil eder. Yukarıdaki gibi, gürültü terimleri tepki değişkenleri arasında ilişkilendirilebilir. Bu ortamda, en küçük karelerden daha verimli olan ve her tepki değişkeni için ayrı regresyon problemlerinin çözülmesine indirgenemeyecek kestiriciler vardır. Örneğin, bkz. [1].$Y_i$$i$$X_i$$\epsilon_i$

Referanslar

1. Zellner (1962) . Birleşim eğilimi için görünüşte ilgisiz regresyonları ve testleri tahmin etmenin etkili bir yöntemi
2. Helwig (2017) . Çok Değişkenli Doğrusal Regresyon [Slaytlar]
3. Fox ve Weisberg (2011) . R'de çok değişkenli doğrusal modeller. [Ek: Uygulamalı Regresyona R Arkadaşı]
4. Maitra (2013) . Çok Değişkenli Doğrusal Regresyon Modelleri. [Slaytlar]