Serbestlik dereceleri nasıl anlaşılır?

Gönderen Vikipedi , bir istatistik serbestlik derecesi üç yorumlar vardır:

İstatistiklerde, serbestlik derecelerinin sayısı, değişmeden serbest olan bir istatistiğin son hesaplamasındaki değerlerin sayısıdır .

İstatistiksel parametrelerin tahminleri, farklı miktarlarda bilgi veya verilere dayanabilir. Bir parametrenin tahminine giren bağımsız bilgi sayısına serbestlik derecesi (df) denir. Genel olarak, bir parametrenin bir tahmini serbestlik derecesi eşittir tahmin gitmek bağımsız puan sayısı eksi parametresi kendisinin tahmininde ara adımlar olarak kullanılan parametre sayısı (örneği varyans, olan, birincisi, örneklem ortalaması tek ara adım olduğu için).

Matematiksel olarak, serbestlik dereceleri, rastgele bir vektörün alanının boyutudur veya temel olarak 'özgür' bileşenlerin sayısıdır: vektör tam olarak belirlenmeden önce ne kadar bileşenin bilinmesi gerekir .

Kalın sözler tam olarak anlamadığım şey. Mümkünse, bazı matematiksel formülasyonlar kavramı netleştirmeye yardımcı olacaktır.

Ayrıca üç yorum birbiriyle aynı fikirde mi?

Bu ince bir soru. Bu düşünceli kişi alır değil bu alıntılar anlamak! Her ne kadar anlamlı olsalar da, hiçbirinin tam veya genel olarak doğru olmadığı ortaya çıktı. Tam bir açıklama yapmak için zamanım yok (ve burada boş yer yok), ancak bir yaklaşımı ve önerdiği bir anlayışı paylaşmak istiyorum.

Serbestlik derecesi (DF) kavramı nerede ortaya çıkar? Temel tedavilerde bulunduğu bağlamlar:

• Student t-testi ve (iki popülasyonu, farklı varyansa var) Behrens-Fisher sorununa Welch veya Satterthwaite çözeltiler gibi varyantları.

• Ki-kare dağılımı ( varyansın örnekleme dağılımında belirtilen bağımsız standart Normların karelerinin toplamı olarak tanımlanmıştır) .

• F-testi (tahmini varyans oranları).

• Chi-square testi , acil durum tablolarda bağımsızlık ve dağılım tahminlerinin fit iyiliği için, (b) test için, (a) test kullanımları içermektedir.

Ruhsal olarak, bu testler kesin olmaktan (Öğrenci t-testi ve Normal değişkenler için F-testi) doğru yaklaşımlardan (Öğrenci t-testi ve çok kötü olmayan veriler için Welch / Satterthwaite testleri) ) asimptotik yaklaşımlara dayanmak (Ki-kare testi). Bunlardan bazılarının ilginç bir yanı, integral olmayan "serbestlik dereceleri" nin ortaya çıkmasıdır (Welch / Satterthwaite testleri ve göreceğimiz gibi, Ki-kare testi). Bu özel bir ilgi alanıdır çünkü DF'nin iddia ettiği hiçbir şey olmadığı ilk ipucu .

Sorudaki bazı iddiaları derhal elden çıkarabiliriz. "Bir istatistiğin nihai hesaplanması" iyi tanımlanmadığından (görünüşe göre hesaplama için hangi algoritmanın kullanıldığına bağlıdır), belirsiz bir öneriden başka bir şey olamaz ve başka bir eleştiriye değer değildir. Benzer şekilde, "tahminde kullanılan bağımsız puan sayısı" ya da "ara adım olarak kullanılan parametre sayısı" da iyi tanımlanmamıştır.

"Bir" tahminde bulunacak bağımsız bilgi parçalarıyla " uğraşmak zordur, çünkü burada ilgili olabilecek iki farklı, ancak birbiriyle ilişkili" bağımsız "algıları vardır. Biri rasgele değişkenlerin bağımsızlığı; diğeri işlevsel bağımsızlıktır. Basitlik için, diyelim ki, üç yan uzunluklarının - ikinci bir örnek olarak, deneklerin morfometrik ölçümlerinin toplanması varsayalım , , , yüzey alanları ve hacim bölgesinin tahta bloklar kümesi. Üç yan uzunluk bağımsız rastgele değişkenler olarak kabul edilebilir, ancak beş değişkenin tümü bağımlı RV'lerdir. Beşi de işlevsel olarakY, Z, S = 2 ( X -Y + Y , Z + Z X ) V = X , Y , Z ( X , Y , Z, , S , V ) R, 5 ω ∈ R, 5 f ω g ω f ω ( x ( ψ ) , … , V ( ψ ) ) = 0 g $X$$Y$$Z$$S=2(XY+YZ+ZX)$$V=XYZ$çünkü bağımlı değer kümesi ( değil vektör değerli rastgele değişkenin "alan"!) in bir üç-boyutlu bir manifold üzerinden izleri . (Bu nedenle, yerel olarak herhangi bir noktasında , ve olmak üzere iki işlevi vardır; bunlar için ve puan "yakın" ve türevleri ve değerlendirildi$(X,Y,Z,S,V)$$\mathbb{R}^5$$\omega\in\mathbb{R}^5$$f_\omega$$g_\omega$$f_\omega(X(\psi),\ldots,V(\psi))=0$ψ ω f g ω ( X , S , V $g_\omega(X(\psi),\ldots,V(\psi))=0$$\psi$$\omega$$f$$g$$\omega$doğrusal bağımsızdır) Ancak -. Burada vurucu - blok birçok olasılık önlemleri için, bu gibi değişkenlerin alt-gruplar olan bağımlı rastgele değişken olarak, ancak işlevsel olarak bağımsız olarak gerçekleştirilir.$(X,S,V)$

Bu potansiyel belirsizlikler tarafından uyarıldığımızda, muayene için Ki-kare uygunluk testini kaldıralım , çünkü (a) basit, (b) insanların DF'yi almak için gerçekten bilmeleri gereken genel durumlardan biri. p-değeri doğru ve (c) genellikle yanlış kullanılır. İşte bu testin en az tartışmalı uygulamasının kısa bir özeti:

• Bir popülasyon örneği olarak kabul edilen bir veri değerleri koleksiyonunuz .$(x_1, \ldots, x_n)$

• Bir dağıtımın bazı parametrelerini tahmin . Örneğin, Normal dağılımın ortalama ve standart sapma , popülasyonun normal şekilde dağıldığını, ancak (veri elde önce) ne veya olacağını .θ 1 θ 2 = θ p θ 1 θ $\theta_1, \ldots, \theta_p$$\theta_1$$\theta_2 = \theta_p$$\theta_1$$\theta_2$

• Peşin olarak, bir dizi yarattı verileri için "kutuları". (Bu, genellikle yapılmasına rağmen, kutular verilerle belirlendiğinde sorunlu olabilir.) Bu kutuları kullanarak, veriler her kutudaki sayım kümesine düşürülür. nın gerçek değerlerinin ne olacağını tahmin ederek , her bir kutucuğun yaklaşık olarak aynı sayı alacağı şekilde (umarım) ayarladınız. (Eşit olasılıklı binicilik, ki kare dağılımının gerçekten tarif edilmek üzere ki kare istatistiğinin gerçek dağılımına iyi bir yaklaşım olduğunu garanti eder.)( θ $k$$(\theta)$

• Çok fazla veriye sahipsiniz - neredeyse tüm çöplerin sayısının 5 veya daha büyük olması gerektiğini garanti etmek için yeterli. (Bu, umuyoruz , istatistiğinin örnekleme dağılımının, bazı dağılımı tarafından uygun şekilde yaklaştırılmasını sağlayacaktır .)χ $\chi^2$$\chi^2$

Parametre tahminlerini kullanarak, her bölmedeki beklenen sayımı hesaplayabilirsiniz. Ki-kare istatistiği, oranların toplamıdır.

$$\frac{(\text{observed}-\text{expected})^2}{\text{expected}}.$$

Bu, birçok otorite bize (çok yakın bir yaklaşıma kadar) Ki-kare dağılımına sahip olması gerektiğini söylüyor. Fakat bu tür dağıtımların bir ailesi var. Bir parametre ile ayrılan sık olarak anılacaktır "serbestlik derecesi". nasıl belirleyeceğinize dair standart akıl yürütme böyle gider$\nu$$\nu$

Benim sayım var. Bu veri parçaları. Ancak aralarında ( işlevsel ) ilişkiler vardır. Başlamak için, sayımların toplamının eşit olması gerektiğini önceden biliyorum . Bu bir ilişki. Verilerden iki (veya , genellikle) parametre tahmin ettim . Bu iki (veya ) ek ilişki, toplam ilişki veriyor . Varsayalım ki (parametreler) hepsi ( işlevsel olarak ) bağımsızdır, sadece ( işlevsel olarak ) bağımsız "serbestlik dereceleri" bırakır : için kullanılacak değer budur .k n p p p + 1 k - p - 1 $k$$k$$n$$p$$p$$p+1$$k-p-1$$\nu$

Bu akıl yürütmeyle ilgili sorun (bu, söz konusu alıntıların işaret ettiği hesaplama şeklidir) bazı özel ek koşulların geçerli olduğu durumlar haricinde yanlış olmasıdır. Üstelik bu şartlar var hiçbir şey parametrelerinin numaraları ile veri "bileşenleri" nin sayılarla bağımsızlık (fonksiyonel veya istatistik) ile ilgisi, ne de herhangi bir şeyle başka asıl soruya atıfta.

Size bir örnek göstereyim. (Bunu olabildiğince açık yapmak için, az sayıda kutu kullanıyorum, ancak bu zorunlu değil.) 20 bağımsız ve aynı şekilde dağıtılmış (iid) standart Normal değişkenler üretelim ve normal formüllerle ortalama ve standart sapmalarını tahmin edelim ( ortalama = toplam / sayım, vb .) Uyum iyiliğini test etmek için standart bir normalin çeyreklerinde kesme noktaları olan dört kutu oluşturun: -0.675, 0, +0.657 ve Ki-kare istatistiğini üretmek için kutu sayımlarını kullanın. Sabrın izin verdiği ölçüde tekrarlayın; 10.000 tekrar yapmak için zamanım vardı.

DF hakkındaki standart bilgelik, 4 kutu ve 1 + 2 = 3 sınırlamamız olduğunu söylüyor; bu 10.000 Ki-kare istatistiğinin dağılımını gösteren 1-kare ile ki-kare dağılımını takip etmeli. İşte histogram:

Koyu mavi çizgi, dağılımının PDF'sini - çalışacağımızı düşündüğüm - grafiğini çizerken, koyu kırmızı çizgi dağılımının grafiğini çizer (bu iyi bir şey olur) Biri size söyleseydi, tahmin edin yanlış. Verilere de uymuyor.χ 2 ( 2 ) ν = $\chi^2(1)$$\chi^2(2)$$\nu=1$

Sorunun, veri kümelerinin küçük boyutundan ( = 20) veya belki de kutu sayısının küçük boyutundan kaynaklanacağını bekleyebilirsiniz . Bununla birlikte, sorun çok büyük veri kümelerinde ve daha fazla sayıda kutuda bile devam eder: yalnızca bir asimptotik yaklaşıma ulaşmada bir başarısızlık değildir.$n$

İşler ters gitti, çünkü Ki-kare testinin iki gereksinimini ihlal ettim:

1. Parametrelerin Maksimum Olabilirlik tahminini kullanmalısınız . (Bu gereklilik, pratikte hafifçe ihlal edilebilir.)

2. Bu tahminin gerçek verilere değil , sayılara dayandırılması gerekir ! (Bu çok önemlidir .)

Kırmızı histogram, bu gereklilikleri takip eden 10.000 ayrı yineleme için ki-kare istatistiklerini gösterir. Yeterince emin olun, aslında ümit ettiğimiz gibi , eğrisini (kabul edilebilir miktarda örnekleme hatasıyla) görünür şekilde takip eder .$\chi^2(1)$

Geldiğinizi gördük umut - - Bu karşılaştırma noktası doğru DF p-değerlerinin hesaplanması için kullanmak olmasıdır birçok şeye bağlıdır diğer manifoldu boyutları, fonksiyonel ilişkilerin sayımları, veya Normal değişkenlerin aldıkları geometrisinden daha . Miktarlar arasındaki matematiksel ilişkilerde olduğu gibi , belirli fonksiyonel bağımlılıklar arasında ince ve hassas bir etkileşim vardır ve verilerin dağılımını , istatistiklerini ve bunlardan oluşan tahmin edicileri içerir. Buna göre, DF'nin çok değişkenli normal dağılımların geometrisi veya fonksiyonel bağımsızlık veya parametre sayıları veya bu nitelikteki herhangi bir şey açısından yeterince açıklanamaz.

O zaman, “serbestlik derecelerinin” yalnızca (t, Ki-kare ya da F) istatistiklerinin örnekleme dağılımının ne olması gerektiğini öneren bir sezgisel olduğunu görmemize neden olur, ancak münhasır değildir. Elverişli olduğu inancı korkunç hatalara yol açar. (Örneğin, "chi kare uyum iyiliği" ni ararken, Google’ın en çok isabet eden kısmı , bir lig lig üniversitesinin , bu sorunun tamamen yanlış olduğunu gösteren bir web sayfasıdır ! 7 DF'nin aslında 9 DF'ye sahip olduğunu tavsiye ettiği değer.)

Bu daha ayrıntılı bir anlayışla, söz konusu Wikipedia makalesini tekrar okumak faydalı olacaktır: ayrıntılarında, DF sezgiselinin çalışma eğiliminde olduğunu ve bunun yaklaşık bir değer olduğu ya da hiç uygulanmadığı yerlere işaret eder.

---

Burada gösterilen fenomenin iyi bir açıklaması (beklenmedik bir şekilde ki-kare GOF testlerinde yüksek DF) 5. baskıda Kendall ve Stuart'ın Cilt II'sinde görünmektedir . Beni bu tür faydalı analizlerle dolu olan bu harika metne geri götürme fırsatı bulduğum için müteşekkirim.

---

Düzenle (Oca 2017)

İşte R"DF hakkındaki standart bilgelik ..."

#
# Simulate data, one iteration per column of `x`.
#
n <- 20
n.sim <- 1e4
bins <- qnorm(seq(0, 1, 1/4))
x <- matrix(rnorm(n*n.sim), nrow=n)
#
# Compute statistics.
#
m <- colMeans(x)
s <- apply(sweep(x, 2, m), 2, sd)
counts <- apply(matrix(as.numeric(cut(x, bins)), nrow=n), 2, tabulate, nbins=4)
expectations <- mapply(function(m,s) n*diff(pnorm(bins, m, s)), m, s)
chisquared <- colSums((counts - expectations)^2 / expectations)
#
# Plot histograms of means, variances, and chi-squared stats.  The first
# two confirm all is working as expected.
#
mfrow <- par("mfrow")
par(mfrow=c(1,3))
red <- "#a04040"  # Intended to show correct distributions
blue <- "#404090" # To show the putative chi-squared distribution
hist(m, freq=FALSE)
curve(dnorm(x, sd=1/sqrt(n)), add=TRUE, col=red, lwd=2)
hist(s^2, freq=FALSE)
curve(dchisq(x*(n-1), df=n-1)*(n-1), add=TRUE, col=red, lwd=2)
hist(chisquared, freq=FALSE, breaks=seq(0, ceiling(max(chisquared)), 1/4), 
     xlim=c(0, 13), ylim=c(0, 0.55), 
     col="#c0c0ff", border="#404040")
curve(ifelse(x <= 0, Inf, dchisq(x, df=2)), add=TRUE, col=red, lwd=2)
curve(ifelse(x <= 0, Inf, dchisq(x, df=1)), add=TRUE, col=blue, lwd=2)
par(mfrow=mfrow)

Ya da basitçe: Sayısal dizideki öğelerin sayısı, istatistiklerin değeri değişmeden kalacak şekilde değiştirmenize izin verilir.

# for instance if:
x + y + z = 10

Eğer örnek için, değiştirebilir x ve y rastgele ancak değiştiremez z (yapabilirsiniz, ancak rastgele, bu nedenle değilsin serbest - Eğer değerini değiştirmek gerekir, çünkü bunu değiştirmek için Harvey'in yorumunu bakınız) İstatistiğin olduğu (Σ = 10). Yani, bu durumda df = 2.

Konsept, -boyutlu Öklid geometrisi, alt-uzaylar ve ortogonal çıkıntılar hakkında genel bilgi verildiğinde, matematiksel kesinliği sağlamak hiç de zor değildir .$n$

Eğer bir bir dik izdüşüm gelen R, n a s boyutlu alt uzay L ve X olan keyfi bir n -vector sonra p X de bir L , X - P X ve P x ortogonal ve vardır x - p x ∈ L ⊥ içinde L' nin dikgen tamamlayıcısı . Bu ortogonal tamamlayıcı boyutu L ⊥ olduğu , n - s . Eğer$P$$\mathbb{R}^n$$p$$L$$x$$n$$Px$$L$$x - Px$$Px$$x - Px \in L^{\perp}$$L$$L^{\perp}$$n-p$ bir farklılık serbesttir , n sonra boyutlu uzayda x - P X bir farklılık serbesttir n - p boyutlu bir alan. Bu nedenle x - P x'in n - p serbestlik derecelerinesahipolduğunu söylüyoruz.$x$$n$$x - Px$$n-p$$x - Px$$n-p$

Çünkü eğer Bu hususlar istatistik için önemli olan bir bir n- boyutlu rasgele vektör ve L de, ortalama bir modeldir, yani, ortalama vektör e ( X ) olan L sonra çağrı X - p x vektörünü artıkları ve artıkları kullanarak varyansı tahmin ediyoruz. Artıkların vektörü n - p serbestlik derecelerine sahiptir, yani n - p boyutunun bir alt alanı ile sınırlıdır .$X$$n$$L$$E(X)$$L$$X-PX$$n-p$$n-p$

Koordinatları halinde bağımsız ve normal olarak, aynı varyans ile dağıtılır σ 2 daha sonra$X$$\sigma^2$

• ve X - P X vektörleri bağımsızdır.$PX$$X - PX$
• Eğer artıkların vektör kare norm dağılımını | | X - P X | | 2 a, χ 2 ölçü parametresi ile -Dağıtım σ 2 ve özgürlük dereceleri olması umulur başka bir parametre , n - p .$E(X) \in L$$||X - PX||^2$$\chi^2$$\sigma^2$$n-p$

Bu gerçeklerin ispatı taslağı aşağıda verilmiştir. İki sonuç, normal dağılıma dayalı istatistiksel teorinin daha da geliştirilmesi için çok önemlidir. Ayrıca, dağıtımının sahip olduğu parametrelere sahip olmasının nedeni de budur . Ayrıca, ölçek parametresi 2 σ 2 ve şekil parametresi ( n - p ) / 2 ile bir Γ dağılımıdır , ancak yukarıdaki bağlamda, serbestlik dereceleri cinsinden parametreleştirilmesi doğaldır.$\chi^2$$\Gamma$$2\sigma^2$$(n-p)/2$

Özellikle aydınlatıcı olan Wikipedia makalesinden alıntı yapılan paragrafların hiçbirini bulamadığımı itiraf etmeliyim, ancak bunlar da gerçekten yanlış değil ya da çelişkili değil. Onlar kesin olmayan söz ve biz varyans parametresinin tahminini hesaplamak, ama çok artıklar dayalı ne zaman genel gevşek anlamda, biz boyut bir alanda değişmesine tek serbest olan bir vektör üzerinde hesaplama dayandırmak olduğu .$n-p$

Doğrusal normal modeller teorisinin ötesinde, serbestlik dereceleri kavramının kullanımı kafa karıştırıcı olabilir. Bu para- kullanılan, örneğin, bir serbestlik herhangi bir derece olabilir şey bir başvuru olup olmadığını -Dağıtım. Kategorik verilerin istatistiksel analizini düşündüğümüzde, "bağımsız parçaların" bir tablolamadan önce veya sonra sayılması gerekip gerekmediği konusunda bir karışıklık olabilir. Ayrıca, alt uzay kısıtlamaları olmayan normal modellerde bile, kısıtlamalar için, serbestlik dereceleri kavramının nasıl genişletileceği açık değildir. Tipik olarak etkili serbestlik dereceleri adı altında çeşitli öneriler mevcuttur .$\chi^2$

Başka kullanım ve özgürlük derecelerinin anlamları dikkate alınmadan önce, lineer normal modeller bağlamında kendisine güvenmenizi şiddetle tavsiye edeceğim. Bu model sınıfıyla ilgili bir referans , Lineer Model Teorisinde Bir İlk Derstir ve kitabın önsözünde doğrusal modellerdeki diğer klasik kitaplara ek referanslar vardır.

Yukarıdaki sonuçlar ispatı: olsun , varyans matris olduğuna dikkat σ 2 I ve ortonormal baz tercih Z'ye 1 , ... , z s arasında L ve ortonormal baz z p + 1 , ... , z n ve L ⊥ . Daha sonra Z 1 , ... , z , n ve ortonormal baz olan R, n . Let ~ $\xi = E(X)$$\sigma^2 I$$z_1, \ldots, z_p$$L$$z_{p+1}, \ldots, z_n$$L^{\perp}$$z_1, \ldots, z_n$$\mathbb{R}^n$$\tilde{X}$ifade katsayılarının -vector X bu bazda, yani ~ X- ı = Z , T i x . Bu aynı zamanda şu şekilde yazılabilir ~ X = Z , T , X burada , Z ile ortogonal matris z i 'in sütunlarında. O zaman, ˜ X'in ortalama Z T ξ ile normal bir dağılıma sahip olması gerekir, ve Z , ortogonal olduğundan, matris σ 2 I varyansı$n$$X$

$$\tilde{X}_i = z_i^T X.$$ $\tilde{X} = Z^T X$$Z$$z_i$$\tilde{X}$$Z^T \xi$$Z$$\sigma^2 I$. Bu normal dağılımın genel doğrusal dönüşüm sonuçlarından kaynaklanmaktadır. Baz seçildi böylece katsayıları bu olan ~ X- ı için i = 1 , ... , p ve katsayıları x - P , X olan için . Katsayılar ilişkisiz ve ortak normal oldukları için bağımsızdırlar ve bu ve bağımsızdır. Dahası, $PX$$\tilde{X}_i$$i= 1, \ldots, p$$X - PX$i=p+1,...,n,p 2 i . Karsılık∈LD$\tilde{X}_i$$i= p+1, \ldots, n$ X - p X = N Σ i = p + 1 ~ x i z i | | X - P X | | 2 = n ∑ i = p + 1 ˜ $$PX = \sum_{i=1}^p \tilde{X}_i z_i$$ $$X - PX = \sum_{i=p+1}^n \tilde{X}_i z_i$$ $$||X - PX||^2 = \sum_{i=p+1}^n \tilde{X}_i^2.$$ Eğer daha sonra için daha sonra da ve dolayısıyla . Bu durumda , bağımsız dağılımlı rastgele değişkenlerin toplamıdır, tanımı gereği dağılımı, bir scale parametresi ile dağıtılır ve serbestlik dereceleri.$\xi \in L$ı=p+1,...,n,Zı∈L⊥zi⊥Karsılık| | X-PX| | 2n-pN(0,σ2)χ2σ2$E(\tilde{X}_i) = z_i^T \xi = 0$$i = p +1, \ldots, n$$z_i \in L^{\perp}$$z_i \perp \xi$$||X - PX||^2$$n-p$$N(0, \sigma^2)$$\chi^2$$\sigma^2$$n-p$

Gerçekten, "serbestlik dereceleri" teriminin herhangi bir alanda çalışmasından hiç de farklı değil. Örneğin, dört değişkeniniz olduğunu varsayalım: uzunluk, genişlik, alan ve bir dikdörtgenin çevresi. Gerçekten dört şey biliyor musun? Hayır, çünkü sadece iki serbestlik derecesi var. Uzunluğu ve genişliği biliyorsanız, alanı ve çevreyi türetebilirsiniz. Uzunluğu ve alanı biliyorsanız, genişliği ve çevreyi elde edebilirsiniz. Alanı ve çevreyi biliyorsanız, uzunluğu ve genişliği elde edebilirsiniz (dönüşe kadar). Dördünüzün hepsine sahipseniz, sistemin tutarlı olduğunu (tüm değişkenlerin birbiriyle aynı fikirde olduğunu) veya tutarsız olduğunu (hiçbir dikdörtgenin gerçekte tüm koşulları karşılayamayacağını) söyleyebilirsiniz. Bir kare, serbest bırakılma derecesine sahip bir dikdörtgendir;

İstatistiklerde işler daha bulanık hale geliyor, ancak fikir hala aynı. Bir işlev için girdi olarak kullandığınız verilerin tümü bağımsız değişkenler ise, girdileriniz kadar serbestlik derecesine sahip olursunuz. Fakat eğer bir şekilde bağımlılıkları varsa, öyle ki, eğer n - k girdileriniz varsa, kalan k'yı anlayabilirdiniz, o zaman aslında sadece n - k serbestlik derecelerine sahip olacaksınız. Ve bazen bunu hesaba katmanız gerekir, kendinizi gerçekten bağımsız veri bitlerine sahip olduğunuzdan daha fazla veri noktası sayarak, verinin daha güvenilir olduğuna veya gerçekten olduğundan daha fazla tahmin edici güce sahip olduğuna ikna olmalısınız.

( Http://www.reddit.com/r/math/comments/9qbut/could_someone_explain_to_me_what_degrees_of/c0dxtbq?context=3 adresindeki bir yayından alınmıştır .)

Dahası, üç tanım da neredeyse aynı mesajı vermeye çalışıyor.

İstatistiki Uygulamanın Küçük El Kitabındaki ilk cümleyi çok seviyorum . Serbestlik Derecesi Bölüm

Bir uygulayıcının matematiksel olarak karmaşık olmayan bir izleyici kitlesinden en çok korktuğu sorulardan biri, "Özgürlük derecesi tam olarak nedir?"

Bu bölümü okumaktan serbestlik dereceleri hakkında gerçekten iyi bir anlayışa sahip olabileceğinizi düşünüyorum.

Wikipedia , rastgele bir vektörün serbestlik derecelerinin , vektör alt uzayının boyutları olarak yorumlanabileceğini iddia eder . Vikipedi girişinde kısmi bir cevap ve detaylandırma olarak çok temelde adım adım ilerlemek istiyorum.

$[a\,b\,c]^T$$[1\,1\,1]^T$$\bar{x}=1/3(a+b+c)$$[\bar x \, \bar x \, \bar x]^T$$\vec{1}$$[1\,1\,1]^T$$1\,\text{degree of freedom}$$(n − 1)$$n − 1\,\text{degrees of freedom}$$n$$3$$\mathbb{R}^3$$[\bar{x}\,\bar{x}\,\bar{x}]^T$$[a\,b\,c]^T$$[\bar{x}\,\bar{x}\,\bar{x}]^T$

$$[\bar{x}\, \bar{x}\,\bar{x}]\, \begin{bmatrix} a-\bar{x}\\b-\bar{x}\\c-\bar{x}\end{bmatrix}=$$

$$= \bigg[\tiny\frac{(a+b+c)}{3}\, \bigg(a-\frac{(a+b+c)}{3}\bigg)\bigg]+ \bigg[\tiny\frac{(a+b+c)}{3} \,\bigg(b-\frac{(a+b+c)}{3}\bigg)\bigg]+ \bigg[\tiny\frac{(a+b+c)}{3} \,\bigg(c-\frac{(a+b+c)}{3}\bigg)\bigg]$$

$$=\tiny \frac{(a+b+c)}{3}\bigg[ \bigg(\tiny a-\frac{(a+b+c)}{3}\bigg)+ \bigg(b-\frac{(a+b+c)}{3}\bigg)+ \bigg(c-\frac{(a+b+c)}{3}\bigg)\bigg]$$

$$= \tiny \frac{(a+b+c)}{3}\bigg[\tiny \frac{1}{3} \bigg(\tiny 3a-(a+b+c)+ 3b-(a+b+c)+3c-(a+b+c)\bigg)\bigg]$$

$$=\tiny\frac{(a+b+c)}{3}\bigg[\tiny\frac{1}{3} (3a-3a+ 3b-3b+3c-3c)\bigg]\large= 0$$

Ve bu ilişki ortogonal düzlemde herhangi bir noktaya kadar uzanır. $[\bar{x}\,\bar{x}\,\bar{x}]^T$$\frac 1 {\sigma^2} \Big((X_1-\bar X)^2 + \cdots + (X_n - \bar X)^2 \Big) \sim \chi^2_{n-1}$

$[35\,50\,80]^T$$55$$[55\,\,55\,\,55]^T$$55x + 55y + 55z = D$$D = -9075$

$55$$[1\,\,1\,\,1]^T$$55$$\mathbb{R}^2$$2\,\text{degrees of freedom}$$\mathbb{R}^3$$[55\,\,55\,\,55]^T$

$[55\,\,55\,\,55]^T$$[35\,\,50\,\,80]^T$$[80\,\,80\,\,5]$$[90\,\,15\,\,60]$$2\,\text{df}$$55$$[1\,\,1\,\,1]^T$$1\,\text{df}$$[55\,\,55\,\,55]^T$

Sınıflarımda, merak etmenize ve belki de bir serbestlik derecesinin ne anlama gelebileceği konusunda bir bağırsak hissi geliştirmenize yardımcı olabilecek bir "basit" durum kullanıyorum.

Bu konuya bir "Forrest Gump" yaklaşımı gibi, ama denemeye değer.

$X_1, X_2, \ldots, X_{10}\sim N(\mu,\sigma^2)$$\mu$$\sigma^2$

$\mu$$\sigma^2$$\mu$$\mu$$\mu$$\bar X$

$\sigma^2$$\sigma^2$$X_1$$X_{10}$

$\mu$$\sigma^2$$\mu$$\mu$$\sigma^2$

$\mu$$\bar X$$\mu$$\bar X$$\sigma^2$$S^2$$\sigma$

$\mu$$\sigma 2$$\bar X$$\mu$$S^2$$\sigma^2$

Fakat farklı yanlış seviyelerde olabilirsiniz, biraz yanlıştan gerçekten çok ama çok yanlış derecede yanlış (yani, "Güle güle, maaş çeki; gelecek hafta görüşürüz!").

$\bar X$$\mu$$S^2=2$$S^2=20,000,000$$\sigma^2$$\sigma^2$$\bar X$ değişmek için.

$\mu$$\sigma^2$$\mu$$\sigma^2$

Bunu nasıl fark edebilirsiniz?

$\mu$$\sigma$

Ve işte bu, bu lirjik masalın can sıkıcı arsası: Bahsini yaptıktan sonra size anlatıyor . Belki sizi aydınlatmak, belki hazırlamak, belki alay etmek. Nasıl bilebilirsin?

$\mu$$\sigma^2$$\bar X$$S^2$$\mu$$\sigma^2$

$\mu$$\bar X$$(\bar X - \mu)$

$X_i\sim N(\mu,\sigma^2)$$\bar X\sim N(\mu,\sigma^2/10)$$(\bar X - \mu)\sim N(0,\sigma^2/10)$

$$\frac{\bar X - \mu}{\sigma/\sqrt{10}} \sim N(0,1)$$ $\mu$$\sigma^2$

$\mu$$(X_i-\mu)$$N(0,\sigma^2)$$\mu$$\bar X$$X_i$$\bar X$$Var(\bar X) = \sigma^2/10 < \sigma^2 = Var(X_i)$$\bar X$$\mu$$X_i$

$(X_i-\mu)/\sigma\sim N(0,1)$$\mu$$\sigma^2$

$\mu$$\sigma^2$

[İkincisini düşündüğünüzü düşünmeyi tercih ederim.]

Evet var!

$\mu$$X_i$$\sigma$

$$\frac{(X_i-\mu)^2}{\sigma^2} = \left(\frac{X_i-\mu}{\sigma}\right)^2 \sim \chi^2$$ $Z^2$$Z\sim N(0,1)$$\mu$$\sigma^2$

$$\frac{(\bar X-\mu)^2}{\sigma^2/10} = \left(\frac{\bar X-\mu}{\sigma/\sqrt{10}}\right)^2 = \left(N(0,1)\right)^2 \sim\chi^2$$ $$\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2/10} =\sum_{i=1}^{10} \left(\frac{X_i-\mu}{\sigma/\sqrt{10}}\right)^2 =\sum_{i=1}^{10} \left(N(0,1)\right)^2 =\sum_{i=1}^{10} \chi^2.$$ $X_1, \ldots, X_{10}$). Bu tek tek Ki-kare dağılımının her biri, kabaca toplama katkısı ile aynı miktarda katılımı beklediğiniz rastgele değişkenlik miktarına bir katkıdır.

Her katkının değeri matematiksel olarak diğer dokuzla eşit değildir, ancak hepsinin dağılımda beklenen aynı davranışı vardır. Bu anlamda, onlar bir şekilde simetriktir.

Bu karelerden her biri, bu toplamda beklediğiniz saf, rastgele değişkenlik miktarına bir katkıdır.

100 gözleminiz olsaydı, yukarıdaki toplamın daha fazla rekabet kaynağı olduğu için daha büyük olması beklenirdi .

Aynı davranışa sahip bu "katkı kaynakları" nın her birine serbestlik derecesi denilebilir .

Şimdi bir veya iki adımı geri alın, serbest bırakma derecenizin istendiği aniden gelmesi için gerekirse önceki paragrafları tekrar okuyun .

$\mu$$\sigma^2$

Mesele şu ki, eşdeğer 10 değişkenlik kaynağının davranışına güvenmeye başladınız. 100 gözleminiz olsaydı, o toplamda tamamen rastgele dalgalanma olan 100 bağımsız, eşit davranışlı kaynağınız olurdu.

$\chi^2_{10}$$\chi^2_1$

$\mu$$\sigma^2$

$\mu$$\sigma^2$

Tanrı'ya karşı isyan ettiğinizde ve O'nun sizi harekete geçirmesini beklemeden, tek başınıza geçinmeye çalıştığınızda, her şey garipleşmeye başlar (Hahahaha; ancak şimdi!).

$\bar X$$S^2$$\mu$$\sigma^2$

Yukarıdaki toplamı ile hesaplamayı düşünebilirsiniz.$\bar X$$S^2$$\mu$$\sigma^2$

$$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{S^2/10} =\sum_{i=1}^{10} \left(\frac{X_i-\bar X}{S/\sqrt{10}}\right)^2,$$

$\mu$$(X_i-\mu) > 0$$\sum_{i=1}^{10}(X_i-\mu) > 0$$\sum_{i=1}^{10}(X_i-\bar X) = 0$$\sum_{i=1}^{10}X_i-10 \bar X =10 \bar X - 10 \bar X = 0$

$\sum_{i=1}^{10}(X_i-\bar X)^2 \le \sum_{i=1}^{10}(X_i-\mu)^2$

$$\frac{X_i-\bar X}{S/\sqrt{10}}$$ $$\frac{(X_i-\bar X)^2}{S^2/10}$$ $$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{S^2/10}$$ $$\frac{\bar X-\mu}{S/\sqrt{10}}$$

"Hepsi boşuna mıydı?"

$$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{[X_i-\mu+\mu-\bar X]^2}{\sigma^2} =\sum_{i=1}^{10} \frac{[(X_i-\mu)-(\bar X-\mu)]^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2-2(X_i-\mu)(\bar X-\mu)+(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2-(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-\sum_{i=1}^{10} \frac{(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-10\frac{(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-\frac{(\bar X-\mu)^2}{\sigma^2/10}$$ $$\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} +\frac{(\bar X-\mu)^2}{\sigma^2/10}.$$

İlk terim, 10 derece serbestlik derecesine sahip Ki-kare dağılımına ve son terim, bir serbestlik derecesine sahip Ki-kare dağılımına (!) Sahiptir.

İki bölüme eşit, bağımsız davranan 10 bağımsız değişkenlik kaynağına sahip bir Ki-kareyi iki bölüme ayırdık, her ikisi de pozitif: bir bölüm, bir değişkenlik kaynağına sahip bir Ki-kare ve diğeri kanıtlayabiliyoruz (inanç sıçraması WO? ) aynı zamanda 9 (= 10-1) bağımsız eşit davranışlı değişkenlik kaynağına sahip bir Ki-kare, her iki bölüm birbirinden bağımsız olmalıdır.

Bu zaten iyi bir haber, çünkü şimdi dağıtımımız var.

$\sigma^2$

$$S^2=\frac{1}{10-1}\sum_{i=1}^{10} (X_i-\bar X)^2,$$ $$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} =\frac{\sum_{i=1}^{10} (X_i-\bar X)^2}{\sigma^2} =\frac{(10-1)S^2}{\sigma^2} \sim\chi^2_{(10-1)}$$ $$\frac{\bar X-\mu}{S/\sqrt{10}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\frac{S}{\sigma}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\sqrt{\frac{S^2}{\sigma^2}}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\sqrt{\frac{\frac{(10-1)S^2}{\sigma^2}}{(10-1)}}} =\frac{N(0,1)}{\sqrt{\frac{\chi^2_{(10-1)}}{(10-1)}}},$$ $(10-1)$

$t$

[^ 1]: @whuber, aşağıdaki yorumlarda Gosset'in matematik yapmadığını ancak bunun yerine tahmin ettiğini söyledi ! O zaman için hangi başarın daha şaşırtıcı olduğunu gerçekten bilmiyorum.

$t$$(10-1)$$\bar X$$\mu$$S^2$$\bar X$

İşte gidiyorsun. Çok fazla teknik ayrıntı ile halının arkasına kabadayı sarıldı, ancak yalnızca tüm maaşınızı tehlikeye atmak için Tanrı'nın müdahalesine bağlı değil.

Serbestlik derecelerinin sezgisel bir açıklaması , ilgilenilen bir parametrenin (yani bilinmeyen miktarın) tahmin edilmesi için verilerde bulunan bağımsız bilgi parçalarının sayısını temsil etmeleridir .

Örnek olarak, formun basit bir doğrusal regresyon modelinde:

$$Y_i=\beta_0 + \beta_1\cdot X_i + \epsilon_i,\quad i=1,\ldots, n$$

$\epsilon_i$$\sigma$$\beta_0$$\beta_1$$n$$n-2$$n-2$$\sigma$

$n$$X_1,\dots,X_n$$\sum_{i=1}^n (X_i-\overline{X}_n)^2\sim \mathcal{X}^2_{n-1}$$\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i$$n-1$$(\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i)$

Daha fazla bilgi için bkz: bu

Benim için anladığım ilk açıklama şuydu:

Ortalama veya varyasyon gibi bir istatistiksel değer biliyorsanız, her değişkenin değerini bilmeden önce bilmeniz gereken kaç değişken verisi vardır?

Bu, A3xa'nın söylediği gibidir, ancak herhangi bir veri noktasına özel bir rol vermeden ve cevabında verilen üçüncü duruma yakındır. Bu şekilde aynı örnek şöyle olacaktır:

Verilerin ortalamasını biliyorsanız, tüm veri noktalarının değerini bilmek için bir veri noktası dışındaki herkesin değerlerini bilmeniz gerekir.

$x$$y$$V_{x,y}=V_x+V_y$$V_x=SD_x^2$$V_{x,y}$$SD_{x,y}=\sqrt{SD_x^2+SD_y^2}$$SD_x=\sqrt{\dfrac{\sum_{i=1}^n(x_i-\bar{x})^2}{n-1}}$$n=1$$x_1-\bar{x}=0$$\dfrac{\sum_{i=1}^n(x_i-\bar{x})^2}{n-1}\rightarrow \dfrac{0}{0}$$x$$n=2$$x_1$$x_2$$\bar{x}=\dfrac{x_1+x_2}{2}$$\bar{x}$$x_1$$x_2$$n$$\bar{x}$$n$$n-1$