“Bağımsız gözlemler” ne anlama geliyor?


28

Bağımsız gözlem varsayımının ne anlama geldiğini anlamaya çalışıyorum . Bazı tanımlar:

  1. "İki olay yalnızca ise bağımsızdır P(birb)=P(bir)*P(b)." ( İstatistiksel Terimler Sözlüğü )
  2. "bir olayın meydana gelmesi bir başkasının olasılığını değiştirmez" ( Wikipedia ).
  3. “bir gözlemin örneklenmesi, ikinci gözlemin seçimini etkilemez” ( David M. Lane ).

Sık sık verilen bağımlı gözlemlere bir örnek, aşağıdaki gibi öğretmenlerin içine yerleştirilmiş öğrencilerdir. Öğretmenlerin öğrencileri etkilediğini ancak öğrencilerin birbirini etkilemediğini varsayalım.

Peki bu tanımlamalar bu veriler için nasıl ihlal edilir? [Student = 1] için [grade = 7] örneklemesi, bir sonraki örneklenecek notun olasılık dağılımını etkilemez. (Veya öyle mi? Öyleyse, gözlem 1 bir sonraki gözlemle ilgili ne öngörüyor?)

Ben ölçülen olsaydı neden gözlemler bağımsız olacağını gender yerine teacher_id? Gözlemleri aynı şekilde etkilemiyorlar mı?

teacher_id   student_id   grade
         1            1       7
         1            2       7
         1            3       6
         2            4       8
         2            5       8
         2            6       9

4
Birincisi, öğretmen 1 sınıflarının dağılımının öğretmen 2'ye göre daha düşük bir "ortalama" değere sahip olduğunu ve dolayısıyla öğretmen 1 öğrencilerinin hepsinin ortalama olarak öğretmen 2 öğrencilerinden daha düşük derecelere sahip olma eğiliminde olduklarını söyleyebilir. İki öğretmen için öğrenci / sınıf dağılımı, farklı dağılımlar olabilir. Bu gözlemleri bağımlı kılmak için yeterli olacaktır.
Monica’yı eski

1
@GavinSimpson: Bu akıl yürütme çizgisini düşünüyorum. Ancak, ne değiştirirseniz teachertarafından gender? Cinsiyet çoğu sosyal bilim verisinde mevcuttur ve bir dereceye kadar hemen hemen her şeyle ilişkilidir.
RubenGeert

1
Kesinlikle cevaba bağlı olmalı. Birleşik Krallık'taki bilimlerdeki öğrencilerin notlarına bakacak olsaydık, belki de iki cinsiyet için farklı kazanma dağılımlarının, üzerinde çalıştığınız popülasyonlar üzerinden ortalama bir etkisi olur . Her neyse, tüm bunlar sadece (artık istatistiksel bir modelde) artıklar için önemli, ya da takılan modele bağlı olan tepkiler için farklı bir şekilde ifade edildi. Başka bir deyişle, eğer gözlemler bağımsız değilse, model bunun için kalıntının bağımsız olacağı şekilde hesaplandığı sürece sorun değil.
Monica’yı eski

4
(1) veya (2) 'yi (istatistiksel) bağımsızlığın tanımı olarak alamazsınız, çünkü bağımsızlık nedensellik referansı olmadan tanımlanabilir. Her üç alıntı da yalnızca resmi olmayan, sezgisel örnekler sunma çabasıdır . ((3) büyük olasılıkla, bilgi miktarının nicel ve katı bir tanımına erişiminiz olması koşuluyla tanım olarak alınabilir.) Bu nedenle, "Tanım" başlığı altında görünenler gibi gerçek bir tanımdan bahsetmek iyi bir fikir olacaktır. referansta bulunduğunuz Wikipedia makalesinde.
whuber

1
Hayır, artıkları bağımsız yapabilir (ya da en azından bağımlıları bağımsız görünecek kadar bağımlılığı azaltabilirsiniz). Bu, doğrusal modelin varsayımlarından söz eder; burada Λ bir korelasyon matrisi. Alışılmış varsayım, mat bir kimlik matrisi olduğu için köşegen dışı sıfırdır ve dolayısıyla bağımsızlık varsayımı artıklar üzerindedir. Gerçi Başka bir deyişle, bu konuda bir ifadedir y şartına takılan modeli. εN(0,σ2Λ)ΛΛy
Monica’yı eski

Yanıtlar:


11

Olasılık Teorik olarak, istatistiksel bağımsızlık (nedensel bağımsız olarak aynı değildir) mülkiyet (3) gibi tanımlanmıştır, ancak (1) bir sonucu olarak, aşağıdaki . A ve B olayları , eğer ve sadece:birB

P(birB)=P(bir)P(B).

Eğer ise aşağıdakileri yaparsanız:P(B)>0

P(A|B)=P(birB)P(B)=P(bir)P(B)P(B)=P(bir).

Bu, istatistiksel bağımsızlığın bir olayın oluşumunun diğerinin olasılığını etkilemediği anlamına geldiği anlamına gelir. Bunu söylemenin bir başka yolu, bir olayın meydana gelmesinin diğerine ilişkin inançlarınızı değiştirmemesi gerektiğidir. İstatistiksel bağımsızlık kavramı, genellikle sürekli rastgele değişkenler (belirli bir sonucun sıfır olasılığına sahip olmayan) da dahil olmak üzere rastgele değişkenler için benzer ifadelerin yapılmasına izin verecek şekilde olaylardan rasgele değişkenlere genişletilir. Rasgele değişkenler için bağımsızlığın tedavisi temel olarak dağıtım işlevlerine uygulanan aynı tanımları içerir.


Bağımsızlığın çok güçlü bir özellik olduğunu anlamak çok önemlidir - eğer olaylar istatistiksel olarak bağımsız ise o zaman (tanım gereği) birini bir diğerini gözlemlemekten öğrenemeyiz. Bu nedenle, istatistiksel modeller genellikle bazı temel dağıtım veya parametreler göz önüne alındığında , koşullu bağımsızlık varsayımlarını içerir . Tam kavramsal çerçeve, birinin Bayesian yöntemleri mi yoksa klasik yöntemler mi kullandığına bağlıdır. İlki, gözlemlenebilir değerler arasındaki açık bağımlılığı içerirken, ikincisi (karmaşık ve ince) örtük bir bağımlılık biçimi içerir. Bu konuyu tam olarak anlamak, klasik ve Bayesci istatistiklerine ilişkin biraz bilgi sahibi olmayı gerektirir.

İstatistiksel modeller sıklıkla rasgele değişken dizilerinin "bağımsız ve aynı şekilde dağıtılmış (IID)" olduğu varsayımını kullandıklarını söyleyecektir. Örneğin, gözlemlenebilir bir diziniz her bir gözlemlenebilir rastgele değişken aracı, X i , normal olarak, ortalama ile dağıtılan ^ ı ve standart sapma σX1,X2,X3,...IID N(μ,σ2)Xbenμσ. Dizideki rasgele değişkenlerin her biri, sonuçlarının diğer değerlerin belirtilen dağılımını değiştirmemesi anlamında diğerlerinden "bağımsız" dır. Bu tür modellerde, modeldeki parametreleri tahmin etmek için dizinin gözlenen değerlerini kullanırız ve ardından dizinin gözlenmemiş değerlerini tahmin edebiliriz. Bu mutlaka diğerleri hakkında bilgi edinmek için gözlenen bazı değerleri kullanmayı gerektirir.

Bayes istatistikleri: Her şey kavramsal olarak basittir. Varsayalım μ ve σ parametrelerini verilen koşullu olarak IID'dir ve bilinmeyen parametreleri rastgele değişkenler olarak kabul edin. Bu parametreler için herhangi bir dejenere olmayan önceki dağılım göz önüne alındığında, gözlemlenebilir sekanstaki değerler (koşulsuz) genel olarak pozitif korelasyon ile bağımlıdır. Dolayısıyla, gözlemlenmemiş sonuçları daha sonra gözlemlenmemiş sonuçları tahmin etmek için kullanmamız mükemmel bir anlam ifade eder - şartlı olarak bağımsızdır, ancak koşulsuz olarak bağımlıdırlar.X1,X2,X3,...μσ

Klasik istatistikler: Bu oldukça karmaşık ve ince. Varsayalım IID, μ ve σ parametrelerini verilenX1,X2,X3,...μσ, ancak bu parametreleri "bilinmeyen sabitler" olarak ele alın. Parametreler sabit olarak değerlendirildiğinden, bu durumda koşullu ve koşulsuz bağımsızlık arasında net bir fark yoktur. Yine de, parametreleri gözlemlemek ve gözlemlenmemiş değerleri tahmin etmek için gözlemlenen değerleri kullanmaya devam ediyoruz. Bu nedenle, gözlemlenen sonuçları, birbirinden göze çarpmayan "bağımsız" olsalar bile, daha sonra gözlemlenmemiş sonuçları tahmin etmek için kullanırız. Bu açık uyumsuzluk O'Neill, B. (2009) Değişebilirlik, Korelasyon ve Bayes'in Etkisi bölümünde detaylı olarak tartışılmıştır . Uluslararası İstatistiksel Değerlendirme 77 (2) , ss. 241-250 .


Bunu varsayarak Muhtemelen, öğrenci notları verilerine böyle bir model bir şey bu olurdu uygulamak gradeolduğunu şartlı bağımsız gibi verilen teacher_id. Verileri, her öğretmenin derecelendirme dağılımına ilişkin çıkarımlar yapmak için kullanırsınız (aynı olduğu varsayılmaz) ve bu grade, başka bir öğrencinin bilinmeyeceği hakkında tahminlerde bulunmanıza izin verir . Çünkü gradedeğişken çıkarsama kullanılır, herhangi bir bilinmeyen sizin tahminler etkileyecek gradebaşka bir öğrenci için değişken. Değiştirme teacher_idile genderbu değişmez; Her iki durumda da, yordayıcısı olarak kullanabileceğiniz bir değişken var grade.

Eğer Bayesian yöntemini kullanırsanız, açık bir şartlı bağımsızlık varsayımına ve öğretmenlerin not dağılımları için önceki bir dağıtıma sahip olursunuz ve bu notların koşulsuz (öngörücü) bağımlılığına yol açar , böylece bir notu bir başkasını öngörmenizde rasyonel olarak kullanırsınız. Klasik istatistik kullanıyorsanız ("bilinmeyen sabitler" olan parametrelere dayanarak) bağımsızlık varsayımına sahip olacaksınız ve başka birini tahmin etmek için bir not kullanmanıza izin veren klasik istatistiksel tahmin yöntemlerini kullanacaksınız.


Koşullu olasılık ifadesi ile bağımsızlığı tanımlayan ve bunun sonucunda ortak olasılık ifadesini veren bazı temel olasılık teorisi sunumları vardır. Bu daha az yaygındır.


6
İstatistiksel bağımsızlık, cevabınızın ilk bölümünde tanımladığınız şeydir. Fakat sizin cümleniz "... olaylar istatistiksel olarak bağımsız ise o zaman (tanım gereği) birisini diğerini gözlemlemekten öğrenemeyiz." olduğunu pervasızca yanlış. Dünya istatistiksel olarak bağımsız fakat benzer olaylarla ve rastgele değişkenlerle doludur .
Alecos Papadopoulos

1
“Öğrenmek”, bir başkasının gözlemine dayanan bir şey hakkındaki inançlarımızı değiştirmek anlamına gelmez mi? Eğer öyleyse, bağımsızlık (tanımsal olarak) bunu engellemez mi?
Monica'yı

6
Benzer bir yorum yapacaktım @Alecos. Genel izlenim, rastgele bir değişkenin bir farkına varmanın gözlemlenmesinin bize dağıtımı hakkında hiçbir şey söylemediğini , böylece ikinci bir bağımsız gerçekleşmeyle ilgili hiçbir şey tahmin edemeyeceğinizi iddia ettiğinizdir. Durum böyle olsaydı, örnekleme ve tahmin teorisinin çoğunun geliştirilmesi imkansız olurdu. Ancak, eğer F'yi tanırsak ve bir kavrayışı gözlemlersek, bize başka herhangi bir bağımsız kavrama hakkında ek bilgi vermediği anlamında haksızsınız. FF
whuber

4
Burada mesele dağılımı ile standart IID modeli olduğunu düşünüyorum örtülü bir varsayım kullanıyor şartlı bağımsızlık bilgisi verilen F . F bilgisine bağlı olarak , gözlemler bağımsızdır, ancak kayıtsız şartsız olarak, her bir gözlemin F hakkında bilgi verdiği ve ardından diğer gözlemler hakkındaki inançlarınızı etkileyen bir durum vardır . FFFF
Monica'yı

2
Bu konudaki zorluk, klasik istatistiklerin altında yatan dağılımı ve parametreleri "bilinmeyen sabitler" olarak ele alması ve bu nedenle koşullu veya koşulsuz bağımsızlık arasında açık bir ayrım yapmamasıdır. Bayesian istatistiklerinde, hepsi çok basit.
Monica'yı

4

Let bir yan k - boyutlu rasgele vektör, rastgele değişkenin yani sabit konumlu toplama (ölçülebilir, gerçek fonksiyonlar).x=(X1,...,Xj,...,Xk)k-

Birçok tür vektörleri düşünün demek bu vektörler ve indeks i = 1 , . . . , n , öyleyse söylenben=1,...,n

ve "örnek" olarak adlandırılan bir koleksiyon olarak kabulS=( x 1 ,..., X i ,..., x , n ). Sonra her birk'yiararız-

xben=(X1ben,...,Xjben,...,Xkben)
S=(x1,...,xben,...,xn)k- boyutsal vektöre bir "gözlem" (dahil olan rastgele değişkenlerin gerçekleşmelerini ölçüp kaydettikten sonra sadece bir kez olmuş olmasına rağmen).

İlk önce bir olasılık kütle fonksiyonunun (PMF) veya bir olasılık yoğunluk fonksiyonunun (PDF) bulunduğu durumu ve ayrıca eklem fonksiyonlarını ele alalım. Göstermek tarafından ortak PMF veya her rastgele vektörün ortak PDF ve f ( x 1 , . . . , X i , . . . , X , n ) bu vektörlerin ortak PMF veya eklem PDF birlikte. fben(xben),ben=1,...,nf(x1,...,xben,...,xn)

Ardından, aşağıdaki matematiksel eşitlik tutarsa, örneğine "bağımsız örnek" adı verilir:S

f(x1,...,xben,...,xn)=Πben=1nfben(xben),(x1,...,xben,...,xn)DS

burada tarafından oluşturulan ortak bir alan olduğu , n rasgele vektörün / gözlemler.DSn

Bu, “gözlemlerin” “ortaklaşa bağımsız” olduğu, (istatistiksel anlamda veya bugün hala bazen görülen eski deyimle olduğu gibi “olasılıktan bağımsız” olduğu anlamına gelir). Alışkanlık onlara basitçe "bağımsız gözlemler" demektir.

Buradaki istatistiksel bağımsızlık özelliğinin indeksi üzerinde , yani gözlemler arasında olduğunu unutmayın. Her bir gözlemdeki rastgele değişkenler arasındaki olasılıksal / istatistiksel ilişkilerin ne olduğu ile ilgisi yoktur (burada genel gözlemlerde her gözlemin çok boyutlu olduğu yerler).i

Ayrıca, sürekli rastgele değişkenlerin yoğunluğa sahip olmadığı durumlarda, yukarıdakilerin dağılım fonksiyonları açısından ifade edilebileceğini unutmayın.

"Bağımsız gözlemler" demek budur . Matematiksel terimlerle ifade edilen tam olarak tanımlanmış bir özelliktir. En ne bazılarını görelim ima .

BAĞIMSIZ GÖZLEMLERİNİN BAZI SONUÇLARI

A. İki gözlem ortaklaşa bağımsız gözlemler grubunun bir parçası ise, o zaman aynı zamanda "çift-bağımsız bağımsızlar" (istatistiksel olarak),

f(xi,xm)=fi(xi)fm(xm)im,i,m=1,...,n

Bu da, koşullu PMF’lerin / PDF’lerin “marjinal” olanlara eşit olduğunu göstermektedir.

f(xixm)=fi(xi)im,i,m=1,...,n

Bu şartlandırılmış veya şartlandırılmış birçok argümana genel

f(xi,xxm)=f(xi,x),f(xixm,x)=fi(xi)

etc, sola gelen dizinler dikey çizginin sağındaki dizinlerden farklı olduğu sürece.

Bu, aslında bir gözlemi gözlemlersek, numunenin başka bir gözlemini karakterize eden olasılıkların değişmediği anlamına gelir. Tahmin ile ilgili olarak , bağımsız bir örnek en iyi arkadaşımız değil. Bağımlılığa sahip olmayı tercih ederiz, böylece her bir gözlem, diğer gözlemler hakkında daha fazla bir şey söylememize yardımcı olabilir.

B. Öte yandan, bağımsız bir örneklem maksimum bilgi içeriğine sahiptir. Her gözlem, bağımsız olarak, örnekteki herhangi bir gözlem tarafından tamamen veya kısmen çıkarılamayan bilgileri taşır. Dolayısıyla, toplamların toplamı, bazı gözlemler arasında bazı istatistiksel bağımlılıklar bulunan karşılaştırılabilir bir örneklemle karşılaştırıldığında maksimumdur. Ama bu bilginin ne faydası var, tahminlerimizi geliştirmemize yardımcı olamazsa?

Bu, örnekteki rastgele değişkenleri karakterize eden olasılıklar hakkında dolaylı bilgidir. Bu gözlemler ortak özelliklere (durumumuzdaki ortak olasılık dağılımı) ne kadar fazlaysa, numunemiz bağımsızsa onları ortaya çıkarmak için o kadar iyi bir konumdayız.

Diğer bir deyişle, örnek bağımsız ve "aynı şekilde dağıtılmış" ise, anlam

fi(xi)=fm(xm)=f(x),im

it is the best possible sample in order to obtain information about not only the common joint probability distribution f(x), but also for the marginal distributions of the random variables that comprise each observation, say fj(xji).

So even though f(xixm)=fi(xi), so zero additional predictive power as regards the actual realization of xi, with an independent and identically distributed sample, we are in the best position to uncover the functions fi (or some of its properties), i.e. the marginal distributions.

Therefore, as regards estimation (which is sometimes used as a catch-all term, but here it should be kept distinct from the concept of prediction), an independent sample is our "best friend", if it is combined with the "identically distributed" property.

C. It also follows that an independent sample of observations where each is characterized by a totally different probability distribution, with no common characteristics whatsoever, is as worthless a collection of information as one can get (of course every piece of information on its own is worthy, the issue here is that taken together these cannot be combined to offer anything useful). Imagine a sample containing three observations: one containing (quantitative characteristics of) fruits from South America, another containing mountains of Europe, and a third containing clothes from Asia. Pretty interesting information pieces all three of them -but together as a sample cannot do anything statistically useful for us.

Put in another way, a necessary and sufficient condition for an independent sample to be useful, is that the observations have some statistical characteristics in common. This is why, in Statistics, the word "sample" is not synonymous to "collection of information" in general, but to "collection of information on entities that have some common characteristics".

APPLICATION TO THE OP'S DATA EXAMPLE

Responding to a request from user @gung, let's examine the OP's example in light of the above. We reasonably assume that we are in a school with more than two teachers and more than six pupils. So a) we are sampling both pupilss and teachers, and b) we include in our data set the grade that corresponds to each teacher-pupil combination.

Namely, the grades are not "sampled", they are a consequence of the sampling we did on teachers and pupils. Therefore it is reasonable to treat the random variable G (=grade) as the "dependent variable", while pupils (P) and teachers T are "explanatory variables" (not all possible explanatory variables, just some). Our sample consists of six observations which we write explicitly, S=(s1,...,s6) as

s1=(T1,P1,G1)s2=(T1,P2,G2)s3=(T1,P3,G3)s3=(T2,P4,G4)s4=(T2,P5,G5)s5=(T2,P6,G6)

Under the stated assumption "pupils do not influence each other", we can consider the Pi variables as independently distributed. Under a non-stated assumption that "all other factors" that may influence the Grade are independent of each other, we can also consider the Gi variables to be independent of each other.
Finally under a non-stated assumption that teachers do not influence each other, we can consider the variables T1,T2 as statistically independent between them.

But irrespective of what causal/structural assumption we will make regarding the relation between teachers and pupils, the fact remains that observations s1,s2,s3 contain the same random variable (T1), while observations s4,s5,s6 also contains the same random variable (T2).

Note carefully the distinction between "the same random variable" and "two distinct random variables that have identical distributions".

So even if we assume that "teachers do NOT influence pupils", then still, our sample as defined above is not an independent sample, because s1,s2,s3 are statistically dependent through T1, while s4,s5,s6 are statistically dependent through T2.

Assume now that we exclude the random variable "teacher" from our sample. Is the (Pupil, Grade) sample of six observations, an independent sample? Here, the assumptions we will make regarding what is the structural relationship between teachers, pupils, and grades does matter.

First, do teachers directly affect the random variable "Grade", through perhaps, different "grading attitudes/styles"? For example T1 may be a "tough grader" while T2 may be not. In such a case "not seeing" the variable "Teacher" does not make the sample independent, because it is now the G1,G2,G3 that are dependent, due to a common source of influence, T1 (and analogously for the other three).

But say that teachers are identical in that respect. Then under the stated assumption "teachers influence students" we have again that the first three observations are dependent with each other, because teachers influence pupils who influence grades, and we arrive at the same result, albeit indirectly in this case (and likewise for the other three). So again, the sample is not independent.

THE CASE OF GENDER

Now, let's make the (Pupil, Grade) six-observation sample "conditionally independent with respect to teacher" (see other answers) by assuming that all six pupils have in reality the same teacher. But in addition let's include in the sample the random variable "Ge=Gender" that traditionally takes two values (M,F), while recently has started to take more. Our once again three-dimensional six-observation sample is now

s1=(Ge1,P1,G1)s2=(Ge2,P2,G2)s3=(Ge3,P3,G3)s3=(Ge4,P4,G4)s4=(Ge5,P5,G5)s5=(Ge6,P6,G6)

Note carefully that what we included in the description of the sample as regards Gender, is not the actual value that it takes for each pupil, but the random variable "Gender". Look back at the beginning of this very long answer: the Sample is not defined as a collection of numbers (or fixed numerical or not values in general), but as a collection of random variables (i.e. of functions).

Now, does the gender of one pupil influences (structurally or statistically) the gender of the another pupil? We could reasonably argue that it doesn't. So from that respect, the Gei variables are independent. Does the gender of pupil 1, Ge1, affects in some other way directly some other pupil (P2,P3,...)? Hmm, there are battling educational theories if I recall on the matter. So if we assume that it does not, then off it goes another possible source of dependence between observations. Finally, does the gender of a pupil influence directly the grades of another pupil? if we argue that it doesn't, we obtain an independent sample (conditional on all pupils having the same teacher).


I do not agree in your point B. For some purposes, like estimating a mean, negative correlation is better than independence.
kjetil b halvorsen

@kjetil Better in what sense?
Alecos Papadopoulos

It would help if you could connect this concretely to the OP's questions in the text. Given this, how do we understand that the listed observations are not independent? & how does leaving out teacher differ from leaving out sex?
gung - Reinstate Monica

@gung I included some elaboration along the lines you suggested.
Alecos Papadopoulos

Better in the sense of reducing the variance
kjetil b halvorsen

2

The definitions of statistical independence that you give in your post are all essentially correct, but they don't get to the heart of the independence assumption in a statistical model. To understand what we mean by the assumption of independent observations in a statistical model, it will be helpful to revisit what a statistical model is on a conceptual level.

Statistical models as approximations to "nature's dice"

Let's use a familiar example: we collect a random sample of adult humans (from a well-defined population--say, all adult humans on earth) and we measure their heights. We wish to estimate the population mean height of adult humans. To do this, we construct a simple statistical model by assuming that people's heights arise from a normal distribution.

Our model will be a good one if a normal distribution provides a good approximation to how nature "picks" heights for people. That is, if we simulate data under our normal model, does the resulting dataset closely resemble (in a statistical sense) what we observe in nature? In the context of our model, does our random-number generator provide a good simulation of the complicated stochastic process that nature uses to determine the heights of randomly selected human adults ("nature's dice")?

The independence assumption in a simple modeling context

When we assumed that we could approximate "nature's dice" by drawing random numbers from a normal distribution, we didn't mean that we would draw a single number from the normal distribution, and then assign that height to everybody. We meant that we would independently draw numbers for everybody from the same normal distribution. This is our independence assumption.

Imagine now that our sample of adults wasn't a random sample, but instead came from a handful of families. Tallness runs in some families, and shortness runs in others. We've already said that we're willing to assume that the heights of all adults come from one normal distribution. But sampling from the normal distribution wouldn't provide a dataset that looks much like our sample (our sample would show "clumps" of points, some short, others tall--each clump is a family). The heights of people in our sample are not independent draws from the overall normal distribution.

The independence assumption in a more complicated modeling context

But not all is lost! We might be able to write down a better model for our sample--one that preserves the independence of the heights. For example, we could write down a linear model where heights arise from a normal distribution with a mean that depends on what family the subject belongs to. In this context, the normal distribution describes the residual variation, AFTER we account for the influence of family. And independent samples from a normal distribution might be a good model for this residual variation.

Overall here, what we have done is to write down a more sophisticated model of how we expect nature's dice to behave in the context of our study. By writing down a good model, we might still be justified in assuming that that the random part of the model (i.e. the random variation around the family means) is independently sampled for each member of the population.

The (conditional) independence assumption in a general modeling context

Genel olarak, istatistiksel modeller verilerin bir olasılık dağılımından kaynaklandığı varsayılarak çalışır. Bu dağılımın parametreleri (yukarıdaki örnekteki normal dağılımın ortalaması gibi) ortak değişkenlere bağlı olabilir (yukarıdaki örnekteki aile gibi). Ancak elbette sonsuz değişiklikler olabilir. Dağılım normal olmayabilir, değişkenlere bağlı olan parametre ortalama olmayabilir, bağımlılığın şekli doğrusal olmayabilir, vb. Bu modellerin TÜMÜ, doğanın zarına ne kadar makul bir şekilde yaklaştığını varsaydıklarına dayanır. davranın (yine, model altında simüle edilen veriler, doğadan elde edilen gerçek verilere istatistiksel olarak benzeyecektir).

Modelin altındaki verileri simüle ettiğimizde, son adım her zaman modellenen olasılık dağılımına göre rastgele bir sayı çizmektir. Bunlar birbirimizden bağımsız olduğumuzu düşündüğümüz çekilişlerdir. Çıktığımız gerçek veriler bağımsız görünmeyebilir, çünkü modelin ortak değişkenleri veya diğer özellikleri farklı çizimler (veya çizimler için) için farklı olasılık dağılımları kullanmamızı söyleyebilir. Ancak bu bilgilerin tümü modelin içine yerleştirilmelidir. Rastgele son sayının çizilmesine izin verilmez, diğer veri noktaları için çizdiğimiz değerlere bağlıdır. Dolayısıyla, bağımsız olması gereken olaylar, modelimiz bağlamında "doğanın zarları" yuvarlamalarıdır.

Bu durumu koşullu bağımsızlık olarak adlandırmak yararlıdır , bu, veri noktalarının ortak değişkenler verilen (yani şartlandırılmış) birbirinden bağımsız olduğu anlamına gelir . Bizim yükseklik Örneğimizde, benim boy ve kardeşimin yüksekliği farz ailem şartına birbirinden bağımsızdır ve ayrıca yükseklik ve ablanın yüksekliği bağımsızdır aileniz koşuluna. Birisinin ailesini tanıdığımızda, hangi normal dağılımın boylarını simüle etmek için çizileceğini biliyoruz ve farklı bireyler için çekilişler ailelerine bakmaksızın bağımsızdır (ne tür normal dağılımın çizileceğini seçmemize rağmen). Ayrıca, verilerimizin aile yapısıyla ilgilendikten sonra bile, hala iyi koşullu bağımsızlık elde edemememiz mümkündür (örneğin, cinsiyet modellemesi de önemlidir).

Sonuç olarak, gözlemlerin koşullu bağımsızlığını kabul etmenin mantıklı olup olmadığı, belirli bir model bağlamında alınması gereken bir karardır. Bu nedenle, örneğin, doğrusal regresyonda, verilerin normal bir dağılımdan geldiğini kontrol etmiyoruz, ancak RESIDUALS'in normal bir dağılımdan (ve SAME normal dağılımının tüm aralığı boyunca normal dağılımdan geldiğini kontrol ediyoruz). veri). Doğrusal regresyon, değişkenlerin etkisini (regresyon çizgisi) hesaba kattıktan sonra, verinin orijinal gönderideki kesin bağımsızlık tanımına göre bağımsız bir şekilde normal bir dağılımdan örneklendiğini varsayar.

Senin örnek bağlamında

Verilerinizdeki "Öğretmen", yükseklik örneğindeki "aile" gibi olabilir.

Son bir dönüş

Birçok bilinen model, artıkların normal bir dağılımdan kaynaklandığını varsaymaktadır. Size açıkça açıkça normal olmayan bazı veriler verdiğimi hayal edin. Belki de kesinlikle çarpıktırlar, ya da belki iki ayaklılar. Ve size "bu veriler normal dağılımdan geliyor" dedim.

“Mümkün değil” diyorsunuz, “Bunların normal olmadığı çok açık!”

“Verilerin normal olduğu hakkında kim bir şey söyledi? Diyorum. “Sadece normal bir dağılımdan geldiklerini söyledim.”

"Aynı biri!" diyorsun. “Normal dağılımdan oldukça büyük bir örnek histogramının yaklaşık normal görünme eğiliminde olacağını biliyoruz!”

“Ama,” derim, “Verilerin bağımsız olarak normal dağılımdan örneklendiğini söylemedim . DO normal bir dağılımdan geliyor, ancak bağımsız çizimler değil.”

İstatistiksel modellemede (koşullu) bağımsızlık varsayımı, benim gibi akıllı seçkinlerin artıkların dağılımını görmezden gelmesini ve modeli yanlış uygulamasını önlemek için vardır.

İki final notu

1) "Doğanın zarı" terimi aslında benim değil, birkaç referansa rağmen, bu bağlamda nereden aldığımı çözemiyorum.

2) Bazı istatistiksel modeller (örneğin otoregressif modeller), bu şekilde gözlemlerin bağımsızlığını gerektirmez. Özellikle, belirli bir gözlem için örnekleme dağılımının yalnızca sabit değişkenlere değil, aynı zamanda ondan önce gelen verilere de bağlı olmasına izin verir.


Bunun için teşekkürler. Çok erişilebilir bir şekilde yapılmasını seviyorum. Bunun öğretmen için nasıl bir rol oynadığı konusunu ele alıyorsunuz, tartışmayı bir eş değişken olarak seks fikrine de değinmek için genişletebilir misiniz?
gung - Reinstate Monica
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.