Biraz karıştı ise bağımsız değişken bir istatistik modelinden (ayrıca bir belirleyici veya özellik olarak da adlandırılır), örneğin, lineer regresyon , bir rastgele değişken?$X$$Y=\beta_0+\beta_1 X$

İki genel doğrusal regresyon formülasyonu vardır. Kavramlara odaklanmak için onları biraz soyutlayacağım. Matematiksel açıklama ingilizce açıklamasından biraz daha fazladır, bu nedenle ikincisi ile başlayalım:

Doğrusal regresyon , tepkisinin , regresörleri tarafından lineer bir harita ve muhtemelen başka parametreler tarafından belirlenen bir dağılımla rastgele olduğu varsayıldığı bir modeldir .$Y$$X$$\beta(X)$$\theta$

Çoğu durumda olası dağılımlarının kümesi parametrelerle bir konum ailedir ve ve parametre verir . Arketipik örnek, dağılım kümesinin Normal ailesinin ve regresörlerin doğrusal bir işlevi olduğu sıradan regresyondur .$\alpha$$\theta$$\beta(X)$$\alpha$$\mathcal{N}(\mu, \sigma)$$\mu=\beta(X)$

Bunu henüz matematiksel olarak açıklamadığım için, , , ve matematiksel nesnelerin hangi türden bahsettiği açık bir sorudur - ve bu konudaki ana konunun bu olduğuna inanıyorum. Biri çeşitli (eşdeğer) seçimler yapabilmesine rağmen, çoğu aşağıdaki açıklamaya eşdeğer veya özel durumlar ile eşdeğer olacaktır.$X$$Y$$\beta$$\theta$

1. Sabit regresörler. Önsavının gerçek vektörleri olarak temsil edilir . Yanıtı rasgele bir değişkendir (burada sigma alan ve olasılık ile donatılmıştır). Model bir fonksiyonudur (ya da, sen fonksiyonları bir dizi gibi, eğer parametreli$X\in\mathbb{R}^p$$Y:\Omega\to\mathbb{R}$$\Omega$$f:\mathbb{R}\times\Theta\to M^d$$\mathbb{R}\to M^d$$\Theta$ ). $M^d$ boyutu bir sonlu boyutlu topolojik (genellikle ikinci türevlenebilir) alt manifoldu (veya bir alt manifoldu-ile-sınır) olan $d$ olasılık dağılımlarının alanı. $f$genellikle sürekli (veya yeterince farklılaştırılabilir) olarak alınır. $\Theta\subset\mathbb{R}^{d-1}$ "sıkıntı parametreler" dir. Bu dağılımı düşünülmektedir $Y$ olan $f(\beta(X), \theta)$ bilinmeyen bir çift vektör için $\beta\in\mathbb{R}^{p*}$ "regresyon katsayısı") ve bilinmeyen $\theta\in\Theta$ . Bunu Y ∼ f ( β ( X ) , θ ) yazabiliriz .

   $$Y \sim f(\beta(X), \theta).$$

2. Rasgele regresörler. Önsavının ve tepkisi olan $p+1$ boyutlu vektör değerli rastgele değişken $Z = (X,Y): \Omega^\prime \to \mathbb{R}^p \times \mathbb{R}$ . $f$ modeli öncekiyle aynı türde bir nesnedir, ancak şimdi koşullu

   $$Y|X \sim f(\beta(X), \theta).$$

Matematiksel açıklama, verilere nasıl uygulanacağını söyleyen bazı reçeteler olmadan işe yaramaz. Sabit regresör durumunda, $X$ deneyci tarafından belirlendiği şekilde düşünürüz. Bu nedenle, görüntülemek için yardımcı olabilir $\Omega$ bir ürün olarak $\mathbb{R}^p\times \Omega^\prime$ bir ürün sigma cebri ile donatılmış. Deneyi belirleyen $X$ ve (bazıları bilinmeyen, özet) belirler $\omega\in\Omega^\prime$ . Rastgele geri çekici durumda, doğal belirler $\omega\in\Omega^\prime$ , $X$ rastgele değişkenin bir-bileşenli bir $\pi_X(Z(\omega))$$X$ belirler("gözlemlenir") ve şimdisabit regresör durumunda olduğu gibişimdi sıralı bir çiftimiz$(X(\omega), \omega)) \in \Omega$ .

Çoklu doğrusal regresyonun arketipsel örneği (bu daha genel olandan ziyade nesneler için standart gösterimi kullanarak ifade edeceğim ) , bazı sabit σ için

Zaman - lafı hiç bir şekilde $\beta$ olduğu tahmin edilmektedir p ve σ olarak σ , değeri β ( x ) olduğu tahmin edilen değer ve Y ile bağlantılı x --whether x deneyi ile kontrol edilir (bu durumda 1 ) veya sadece gözlenir (durum 2). Biz ya da bir değer (durum 1) veya bunu gerçekleştirme (Durum 2) gözlemlemek x arasında X , o zaman tepki Y'nin bu ilişkili X , dağıtım olan rasgele bir değişkendir , N ($\hat\beta$$\sigma$$\hat\sigma$$\hat\beta(x)$$Y$$x$$x$$x$$X$ $Y$$X$$\mathcal{N}(\beta(x), \sigma)$ bilinmemektedir ancaktahminolduğu$\mathcal{N}(\hat\beta(x), \hat\sigma)$ .

Her şeyden önce, @whuber mükemmel bir cevap verdi. Bir metne atıfta bulunarak, bir anlamda daha basit, belki de daha basit, farklı bir çekim vereceğim.

MOTİVASYON

, regresyon formülasyonunda rastgele veya sabit olabilir. Bu senin problemine bağlı. Sözel gözlem çalışmaları için rastgele olmak zorundadır ve deneyler için genellikle sabittir.$X$

Örnek bir Elektron radyasyonuna maruz kalmanın metal parçanın sertliği üzerindeki etkisini inceliyorum. Böylece, metal parçadan birkaç örnek alıyorum ve çeşitli radyasyon seviyelerine maruz bırakıyorum. Maruz kalma seviyem X, sabittir , çünkü seçtiğim seviyelere ayarlıyorum. Deneyin koşullarını tamamen kontrol ediyorum ya da en azından denemeliyim. Aynısını sıcaklık ve nem gibi diğer parametrelerle de yapabilirim.

Örnek iki Ekonominin kredi kartı başvurularında dolandırıcılık oluşum sıklığı üzerindeki etkisini inceliyorsunuz. Demek ki GSYİH'ya yapılan sahtekarlık olayının gerilemesiyle uğraşıyorsunuz. GSYİH'yi kontrol etmiyorsunuz, istediğiniz seviyeye ayarlayamıyorsunuz. Dahası, muhtemelen çok değişkenli regresyonlara bakmak istersiniz, bu nedenle işsizlik gibi başka değişkenlere de sahipsiniz ve şimdi X'te gözlemlediğiniz ama kontrol etmeyen bir değerlerin bir kombinasyonuna sahipsiniz . Bu durumda X rastgeledir .

Örnek üç. Yeni pestisitin tarladaki etkinliğini, laboratuar koşullarında değil, gerçek deneysel çiftlikte çalışıyorsunuz. Bu durumda bir şeyi kontrol edebilirsiniz, örneğin koymak için pestisit miktarını kontrol edebilirsiniz. Ancak, her şeyi kontrol edemezsiniz, örneğin hava durumu veya toprak koşulları. Tamam, toprağı bir dereceye kadar kontrol edebilirsiniz, ama tamamen değil. Bu, bazı koşulların gözlendiği ve bazı koşulların kontrol edildiği bir arada bir durumdur . Tarımsal araştırmaların en büyük uygulamalarından biri olduğu, bu üçüncü duruma odaklanan ve deneysel tasarım denilen bütün bu çalışma alanı var.

MATEMATİK

İşte cevabın matematiksel kısmı. Gauss-Markov koşulları olarak adlandırılan doğrusal regresyon çalışırken genellikle sunulan bir dizi varsayım vardır. Çok teorikler ve kimse pratik bir düzenlemede bulunduklarını ispatlamaktan rahatsız değil. Ancak, sıradan en küçük kareler (OLS) yönteminin sınırlarını anlamada çok faydalıdırlar.

Bu nedenle, varsayımlar kümesi rastgele ve sabit X için, kabaca gözlemsel ve deneysel çalışmalara karşılık gelen farklıdır . Kabaca, çünkü üçüncü örnekte gösterildiği gibi, bazen gerçekten aşırı uçlar arasındayız. Ben Salkind tarafından Araştırma Tasarımı Ansiklopedisi "Gauss-Markov" teoremi bölümü, bu kadar başlamak için iyi bir yerdir bulundu mevcut Google Books.

$Y=X\beta+\varepsilon$

• $E[\varepsilon]=0$
• $E[\varepsilon^2]=\sigma^2$
• $E[\varepsilon_i,\varepsilon_j]=0$

rastgele tasarımda aynı varsayımlara karşı:

• $E[\varepsilon|X]=0$
• $E[\varepsilon^2|X]=\sigma^2$
• $E[\varepsilon_i,\varepsilon_j|X]=0$

Farkın görebildiği gibi, rastgele tasarım için tasarım matrisindeki varsayımların şartlandırılmasıdır. Koşullandırma bu daha güçlü varsayımlarda bulunur. Örneğin, sadece sabit tasarımda olduğu gibi hataların sıfır anlamına geldiğini söylemiyoruz; rastgele tasarımda, ayrıca, eş değişkenlere X'e bağlı olmadıklarını söylüyoruz.

İstatistiklerde rastgele bir değişken , bir şekilde rastgele değişen miktarlardır. Bu mükemmel CV dizisinde iyi bir tartışma bulabilirsiniz: “Rasgele değişken” ile ne kastedilmektedir?

Soruyu anladığımdan emin değilim, ancak soruyorsanız, "bağımsız bir değişken her zaman rastgele bir değişken olmalı" diye soruyorsanız, cevap hayır.

Bağımsız bir değişken, bağımlı değişkenle korele olduğu varsayılan bir değişkendir. Daha sonra modellemenin böyle olup olmadığını test edersiniz (muhtemelen regresyon analizi).

Burada birçok komplikasyon ve "ifs, buts and maybes" var, bu yüzden regresyon analizini içeren bir temel ekonometri veya istatistik kitabının bir kopyasını alıp iyice okumanı veya başka bir istatistik / ekonometrikten ders notları almanızı öneririm. mümkünse çevrimiçi ders.