Lisansüstü istatistik profesörümle "normal dağılımlar" konusunda bir tartışma içerisindeyim. Gerçekten normal bir dağılım elde edebilmek için ortalama = medyan = moda sahip olması gerektiğini, tüm verilerin çan eğrisi altında yer alması ve ortalama etrafında mükemmel simetrik olması gerektiğini iddia ediyorum. Bu nedenle, teknik olarak, gerçek çalışmalarda neredeyse hiç normal dağılım yoktur ve onlara başka bir şey demeliyiz, belki de "normale yakın" diyelim.

Çok seçici olduğumu söylüyor ve eğer çarpıklık / basıklık 1.0'dan küçükse normal bir dağılımdır ve bir sınavda puan alır. Veri seti, daha büyük bir nüfusun rastgele bir örneği olan 52 bakımevinin rastgele örneklemesinde toplam düşme / yıl sayısıdır. Herhangi bir fikir?

Sorun:

SORU: 3. Bu veriler için çarpıklık ve basıklık ölçülerini hesaplayın. Normal eğriye sahip bir histogram ekleyin. Bulgularınızı tartışın. Veriler normal olarak dağıtılıyor mu?

Statistics 
Number of falls  
N  Valid    52
   Missing   0
Mean        11.23
Median      11.50
Mode         4a

a. Birden çok mod mevcuttur. En küçük değer gösterilir

Number of falls  
N  Valid    52
   Missing   0
Skewness      .114
Std. Error of Skewness    .330
Kurtosis  -.961
Std. Error of Kurtosis    .650

Cevabım:

Veriler platykurtiktir ve sadece hafif pozitif eğriliğe sahiptir ve ortalama ve medyan ve mod eşit olmadığından ve veriler ortalamaya eşit olarak dağıtılmadığından normal bir dağılım DEĞİLDİR. Gerçekte neredeyse hiçbir veri mükemmel bir normal dağılım değildir, ancak büyük nüfus gruplarında yetişkin yüzük parmağının boyu, ağırlığı, sıcaklığı veya uzunluğu gibi “yaklaşık normal dağılımları” tartışabiliriz.

Profesörün cevabı:

Tamamen normal bir dağılımın olmadığı doğrudur. Fakat mükemmellik arayışında değiliz. Histograma ve merkezi eğilim ölçülerine ek olarak verilere bakmamız gerekir. Çarpıklık ve basıklık istatistikleri dağılım hakkında ne söylüyor? İkisi de -1 ile +1 arasındaki kritik değerler arasında olduğundan, bu verilerin normal olarak dağıtıldığı kabul edilir.

Profesörle tartışmanızla ilgili bir sorun terminolojidir, potansiyel olarak yararlı bir fikri iletme yolunda bir yanlış anlama vardır. Farklı yerlerde, ikiniz de hata yaparsınız.

Bu yüzden ele alınması gereken ilk şey: Bir dağıtımın ne olduğu konusunda oldukça net olmak önemlidir. .

Normal dağılım , sonsuz bir değer popülasyonu için bir model olarak düşünebileceğiniz belirli bir matematik nesnesidir. (Hiçbir sonlu popülasyonun aslında sürekli bir dağılımı olamaz.)

Gevşek olarak, bu dağılımın ne yaptığı (parametreleri belirledikten sonra) (bir cebirsel ifade yoluyla) gerçek satırdaki herhangi bir aralıkta bulunan nüfus değerlerinin oranını tanımlar. Biraz daha az gevşek bir şekilde, bu popülasyondan tek bir değerin herhangi bir aralıkta yatma olasılığını tanımlar.

Gözlenen bir numunenin gerçekten normal bir dağılımı yoktur; eğer bir örnek mevcutsa normal bir dağılımdan (potansiyel olarak) bir örnek alınabilir. Örneğin ampirik cdf'sine bakarsanız, bu ayrıktır. Çöp kutusu (histogramda olduğu gibi) örnekte bir "frekans dağılımı" vardır ancak bunlar normal dağılım değildir. Dağılım bize popülasyondan rastgele bir örnek hakkında (olasılıklı bir şekilde) bazı şeyler söyleyebilir ve bir örnek bize nüfus hakkında da bazı şeyler söyleyebilir.

"Normal olarak dağıtılmış örnek" * gibi bir ifadenin makul bir yorumu, "normal olarak dağıtılmış bir popülasyondan rastgele bir örnek" tir.

* (Genellikle umarım burada yeterince açıklığa kavuşturulmuş nedenlerden dolayı kendim söylemekten kaçınırım; genellikle kendimi ikinci ifade türüyle sınırlamayı başardım.)

Terimleri tanımladıktan sonra (hala biraz gevşekse), şimdi soruyu ayrıntılı olarak inceleyelim. Sorunun belirli kısımlarına değineceğim.

normal dağılım ortalama = medyan = mod olmalıdır

Bu, normal dağılımdan alınan bir örnek üzerinde bir gereksinim olmamasına rağmen, kesinlikle normal olasılık dağılımında bir koşuldur; örnekler asimetrik olabilir, ortalama medyandan farklı olabilir vb. [Bununla birlikte, eğer örnek gerçekten normal bir popülasyondan gelmişse, ne kadar birbirlerinden makul bir şekilde bekleyebileceğimizi öğrenebiliriz.]

tüm veriler çan eğrisinin altında olmalıdır

Bu bağlamda "altında" ifadesinin ne anlama geldiğinden emin değilim.

ve ortalama etrafında mükemmel simetriktir.

Hayır; buradaki verilerden bahsediyorsunuz ve (kesinlikle simetrik) normal popülasyondan bir örnek, mükemmel bir şekilde simetrik olmazdı.

Bu nedenle, teknik olarak, gerçek çalışmalarda neredeyse hiç normal dağılım yoktur,

Sonucunuza katılıyorum, ancak gerekçe doğru değil; verilerin mükemmel bir şekilde simetrik (vb.) olmasının bir sonucu değildir; popülasyonların kendilerinin tamamen normal olmadığı gerçeğidir .

eğer çarpıklık / basıklık 1.0'dan küçükse normal dağılımdır

Bunu böyle söylerse, kesinlikle yanlıştır.

Bir örnek çarpıklığı 0'dan çok daha yakın olabilir (gerçek değer değil mutlak büyüklükte "daha az" almak) ve örnek fazla basıklık da 0'dan çok daha yakın olabilir (şans eseri veya potansiyel olarak hemen hemen sıfır olabilir) ve yine de numunenin çekildiği dağılım kolayca normal olmayabilir.

Daha da ileri gidebiliriz - nüfusun çarpıklığını ve basıklık tam olarak normal bir şey olduğunu sihirli bir şekilde bilsek bile, yine de kendi başına popülasyonun normal olduğunu, hatta normale yakın bir şey olduğunu söyleyemezdi.

Veri seti, daha büyük bir nüfusun rastgele bir örneği olan 52 bakımevinin rastgele örneklemesinde toplam düşme / yıl sayısıdır.

Sayıların nüfus dağılımı asla normal değildir. Sayımlar kesikli ve negatif olmayan, normal dağılımlar süreklidir ve tüm gerçek çizgi üzerindedir.

Ama burada yanlış konuya gerçekten odaklandık. Olasılık modelleri, sadece o vardır modeller . Bize vermeyelim gerçeğiyle bizim modellerini karıştırmayın .

Sorun " verilerin kendileri değil mi?" normal mi?" (olamazlar) ve hatta "verilerin alındığı nüfus normal değil mi?" (bu neredeyse hiç böyle olmayacak).

Tartışılması daha yararlı bir soru, "topluma normal dağılmış gibi davranırsam çıkarımım ne kadar kötü etkilenir?"

Aynı zamanda iyi cevaplamak çok daha zor bir soru ve birkaç basit tanıya bakmaktan çok daha fazla iş gerektirebilir.

Gösterdiğiniz örnek istatistikler normallikle özellikle tutarsız değildir (normal popülasyonlardan bu boyutta rastgele örneklere sahipseniz, bunun gibi istatistikleri veya "daha kötü" nadiren nadiren değil) görebilirsiniz, ancak bu, gerçek nüfusun kendisi olduğu anlamına gelmez. numunenin alındığı belirli bir amaç için otomatik olarak normale "yeterince yakın" olur. Amacı (cevapladığınız soruları) ve bunun için kullanılan yöntemlerin sağlamlığını dikkate almak önemlidir ve o zaman bile bunun "yeterince iyi" olduğundan emin olamayabiliriz; bazen a priori varsaymak için iyi bir nedenimiz olmadığını varsaymak daha iyi olabilir (örneğin, benzer veri kümeleriyle deneyime dayanarak).

normal bir dağılım DEĞİL

Veriler - normal bir popülasyondan alınan veriler bile - asla nüfusun özelliklerine tam olarak sahip değildir; sadece bu rakamlardan, burada nüfusun normal olmadığı sonucuna varmak için iyi bir temeliniz yok.

Öte yandan, normale "yeterince yakın" olduğunu söylemek için makul bir dayanak da yok - normallik varsaymayı bile düşünmedik, bu yüzden hangi dağıtım özelliklerine duyarlı olabileceğini bilmiyoruz.

Örneğin, sınırlı bir ölçüm için iki örneğim olsaydı, çok ayrık olmayacağını (çoğunlukla sadece birkaç farklı değer almakla kalmayacağını) ve makul olarak simetriğe yakın olacağını bilsem, iki numuneyi kullanmaktan nispeten mutlu olabilirim çok küçük olmayan bazı örnek boyutlarında t testi; varsayımlardan orta derecede hafif ila hafif sapmalar (biraz sağlam, o kadar güçlü değil). Ancak, örneğin, yayılım eşitliğini test ederken normallik nedensel olduğu varsayımı konusunda daha temkinli olurum, çünkü bu varsayım altındaki en iyi test, varsayımlara oldukça duyarlıdır.

İkisi de -1 ile +1 arasındaki kritik değerler arasında olduğundan, bu verilerin normal olarak dağıtıldığı kabul edilir. "

Bu normal bir dağılımsal modeli kullanmaya karar verdiği kriter ise, bazen sizi oldukça zayıf analizlere yönlendirecektir.

Bu istatistiklerin değerleri bize numunenin alındığı nüfus hakkında bazı ipuçları verir, ancak bu, değerlerinin herhangi bir şekilde bir analiz seçmek için 'güvenli bir rehber' olduğunu öne sürmekle aynı şey değildir.

Şimdi, altta yatan sorunu, sahip olduğunuz soru gibi daha iyi bir ifade sürümü ile ele almak için:

Bir model seçmek için bir örneğe bakma sürecinin tamamı problemlerle doludur - bunu yapmak, gördüklerinize dayanarak sonraki analiz seçeneklerinin özelliklerini değiştirir! Örneğin, bir hipotez testi için, önem seviyeleriniz, p-değerleriniz ve gücünüz, onları seçeceğiniz / hesaplayacağınız şey değildir , çünkü bu hesaplamalar, verilere dayanmayan analize dayanmaktadır.

Örneğin , bu tür verilere bağlı analizlerle ilgili sorunları tartışan Gelman ve Loken (2014), " Bilimde İstatistiksel Kriz ," Amerikalı Bilim İnsanı , Cilt 102, Sayı 6, s 460 (DOI: 10.1511 / 2014.111.460).

Bu noktayı kaçırıyorsunuz ve muhtemelen sektörde takdir edilmeyen "zor" oluyorsunuz. Size bir veri setinin normalliğini değerlendirmek için sizi eğitmek için bir oyuncak örneği gösteriyor, yani veri setinin normal bir dağılımdan gelip gelmediği . Dağıtım anlarına bakmak normalliği kontrol etmenin bir yoludur, örneğin Jarque Bera testi böyle bir değerlendirmeye dayanmaktadır.

Evet, normal dağılım mükemmel simetriktir. Ancak, gerçek bir normal dağılımdan bir örnek çizerseniz, bu örnek büyük olasılıkla mükemmel simetrik olmayacaktır. Tamamen kaçırdığınız nokta bu. Bunu kendiniz kolayca test edebilirsiniz. Sadece Gauss dağılımından bir örnek oluşturun ve anını kontrol edin. Gerçek dağılım böyle olmasına rağmen asla mükemmel "normal" olmazlar .

İşte aptal bir Python örneği. 100 rastgele sayıdan 100 örnek üretiyorum, sonra araçlarını ve medyanlarını alıyorum. Ortalama ve medyanın farklı olduğunu göstermek için ilk örneği yazdırıyorum, daha sonra ortalamalar ve medyanlar arasındaki farkın histogramını gösteriyorum. Oldukça dar olduğunu görebilirsiniz, ancak fark temelde asla sıfır değildir. Sayıların gerçekten normal bir dağılımdan geldiğini unutmayın .

kod:

import numpy as np
import matplotlib.pyplot as plt

np.random.seed(1)
s = np.random.normal(0, 1, (100,100))
print('sample 0 mean:',np.mean(s[:,0]),'median:',np.median(s[:,0]))

plt.hist(np.mean(s,0)-np.median(s,0))
plt.show()
print('avg mean-median:',np.mean(np.mean(s,0)-np.median(s,0)))

çıktılar:

PS

Şimdi, sorunuzdaki örneğin normal kabul edilip edilmeyeceği bağlama bağlıdır. Sınıf odanızda öğretilenler bağlamında yanılıyorsunuz, çünkü profesörünüz size verdiği başparmak testinin kuralını bilip bilmediğinizi görmek istedi, bu da çarpıklık ve aşırı basıklık -1 ila 1 arasında olmalı Aralık.

Şahsen bu özel kuralını hiç kullanmadım (test diyemem) ve var olduğunu bile bilmiyordum. Görünüşe göre, bazı alanlarda bazı insanlar bunu kullanıyor. Veri kümesi açıklamalarınızı JB testine eklerseniz, normalliği reddederdi . Bu nedenle, elbette veri kümesinin normal olmadığını önermek yanlış olmaz, ancak sınıfta öğretilenlere dayanarak sizden beklenen kuralı uygulayamadığınız bir anlamda yanılıyorsunuz.

Ben olsaydım, kibarca profesörünüze yaklaşıp kendimi açıkladım ve JB test çıktısını gösterirdim. Testine dayanarak cevabımın yanlış olduğunu kabul ediyorum. Onunla burada tartıştığınız şekilde tartışmaya çalışırsanız, teste geri dönme şansınız çok düşüktür, çünkü medyanlar, araçlar ve numuneler hakkındaki mantığınız zayıftır, örneklere ve popülasyonlara karşı anlayış eksikliği gösterir. Melodinizi değiştirirseniz, bir davanız olur.

Öğretmen açıkça kendi öğesinin dışındadır ve muhtemelen istatistik öğretmemelidir. Yanlış öğretmek hiç öğretmemekten daha kötü görünüyor.

"Veri" ve "veri üreten süreç" arasındaki ayrım daha açık bir şekilde yapılmışsa, bu sorunların hepsi kolayca giderilebilir. Veriler, verileri üreten süreci hedefler. Normal dağılım bu işlem için bir modeldir.

Verilerin normal olarak dağıtılıp dağıtılmadığı hakkında konuşmak mantıklı değildir. Bir sebepten dolayı, veriler her zaman ayrıktır. Başka bir nedenle, normal dağılım, gözlemlenen spesifik miktarların sonlu kümesini değil, potansiyel olarak gözlemlenebilir miktarların sonsuzluğunu tanımlar.

Ayrıca, " veriyi normal olarak dağıtılmış bir süreçte üreten süreç " sorusu da, veriden bağımsız olarak her zaman "hayır" dır. İki basit neden: (i) aldığımız ölçümlerin mutlaka belirli bir seviyeye yuvarlanması. (ii) mükemmel simetri, mükemmel bir daire gibi, gözlemlenebilir doğada mevcut değildir. Her zaman kusurlar vardır.

En iyi ihtimalle, "bu veriler size veri oluşturma sürecinin normalliği hakkında ne anlatıyor" sorusunun cevabı şu şekilde verilebilir: "bu veriler, gerçekte bir normal dağıtılmış işlem. " Bu cevap doğru bir şekilde dağıtımın normal olduğu sonucuna varmaz.

Bu sorunlar simülasyon kullanılarak çok kolay anlaşılır. Verileri normal bir dağılımdan simüle edin ve mevcut verilerle karşılaştırın. Veriler sayılırsa (0,1,2,3, ...), o zaman açıkçası normal model yanlıştır, çünkü 0,1,2,3, ... gibi sayılar üretmez; bunun yerine, sonsuza kadar devam eden ondalık sayıları (veya en azından bilgisayarın izin verdiği ölçüde) üretir. Normal simülasyon sorusunu öğrenirken yaptığınız ilk şey bu simülasyon olmalıdır. Ardından grafikleri ve özet istatistikleri daha doğru bir şekilde yorumlayabilirsiniz.

Ben bir mühendisim, bu yüzden dünyamda, uygulanan istatistikçi en çok gördüğüm şey ve en somut değeri elde ediyorum. Eğer uygulamalı olarak çalışacaksanız, o zaman teorik olarak pratikte sağlam bir şekilde topraklanmanız gerekir: zarif olup olmadığı, uçağın uçması ve çökmemesi gerekir.

Bu soruyu düşündüğümde, buradaki teknik bahislerimin çoğunun yaptığı gibi, ona yaklaşma şeklim, "gürültü varlığında gerçek dünyada neye benzediğini" düşünmektir.

Yaptığım ikinci şey, genellikle, ellerimi soruya sokmamı sağlayan bir simülasyon yapmaktır.

İşte çok kısa bir keşif:

#show how the mean and the median  differ with respect to sample size

#libraries
library(reshape2)
library(ggplot2)

#sample sizes
ssizes <- 10^(seq(from=1, to=3, by=0.25))
ssizes <- round(ssizes)

#loops per sample
n_loops <- 5000

#pre-declare, prep for loop
my_store <- matrix(0, 
                   ncol = 3, 
                   nrow = n_loops*length(ssizes))

count <- 1

for(i in 1:length(ssizes)){

  #how many samples
  n_samp <- ssizes[i]

  for(j in 1:n_loops){

    #draw samples
    y <- 0
    y <- rnorm(n = n_samp,mean = 0, sd = 1)

    #compute mean, median, mode
    my_store[count,1] <- n_samp
    my_store[count,2] <- median(y)
    my_store[count,3] <- mean(y)


    #update
    count = count + 1
  }
}


#make data into ggplot friendly form
df <- data.frame(my_store)
names(df) <- c("n_samp", "median","mean")

df <- melt(df, id.vars = 1, measure.vars = c("median","mean"))


#make ggplot
ggplot(df, aes(x=as.factor(n_samp), 
               y = value, 
               fill = variable)) + geom_boxplot() + 
  labs(title = "Contrast Median and Mean estimate variation vs. Sample Size",
       x = "Number of Samples",
       y = "Estimated value")

Bunu çıktı olarak verir:

Not: x ekseni konusunda dikkatli olun, çünkü günlük ölçeklidir, eşit ölçeklendirilmez.

Ortalama ve medyanın tamamen aynı olduğunu biliyorum. Kod söylüyor. Ampirik gerçekleştirme, örneklem büyüklüğüne büyük ölçüde duyarlıdır ve eğer gerçekten sonsuz örnekleme yoksa, teoriyle mükemmel şekilde eşleşemezler.

Ortancadaki belirsizliğin tahmini ortalamayı veya tam tersi olup olmadığını düşünebilirsiniz. Ortalamanın en iyi tahmini, medyan tahmininin% 95 CI'sı içindeyse, veriler farkı söyleyemez. Veriler teoride aynı olduklarını söylüyor. Daha fazla veri alırsanız, ne dediğine bakın.

Tıbbi istatistiklerde, sadece dağılımların şekilleri ve görünüşleri hakkında yorum yaparız. Hiçbir ayrık sonlu numunenin normal olamayacağı gerçeği alakasız ve bilgiçtir. Bunun için seni yanlış işaretlerdim.

Bir dağıtım "çoğunlukla" normal görünüyorsa, normal olarak adlandırmaktan rahat oluruz. İstatistiksel olmayan bir kitle için dağılımları tanımladığımda, normal dağılımın altında yatan olasılık modeli olmadığını bilsem bile yaklaşık normal bir şey çağırmaktan çok rahatım, burada öğretmeninizle birlikte olacağım hissini anlıyorum ... ama biz doğrulanacak histogram veya veri kümeniz yok.

Bahşiş olarak, aşağıdaki denetimleri çok yakından izlerdim:

• aykırı değerler kimler, kaç tanesi ve değerleri nelerdir?
• Veri bimodal mı?
• Bazı dönüşümlerin (kütük gibi) gözlemler arasındaki "mesafeyi" daha iyi ölçebilmesi için veriler çarpık bir şekil alıyor mu?
• Testlerin veya laboratuvarların belirli bir değer aralığını güvenilir bir şekilde tespit edememesi için belirgin bir kesme veya yığınlama var mı?

Bence siz ve profesörünüz farklı bağlamlarda konuşuyorsunuz. Ortalama = medyan = mod eşitliği teorik dağılımın karakteristikleridir ve tek özellik bu değildir. Mülkiyet ambarının üzerindeki herhangi bir dağıtım için dağıtımın normal olduğunu söyleyemezsiniz. T dağılımı da simetriktir ancak normal değildir. Yani, normal dağılım için her zaman doğru olan normal dağılımın teorik özelliklerinden bahsediyorsunuz.

Profesör örnek verilerin dağıtımı hakkında konuşuyor. Haklı, ortalama = medyan = mod bulacağınız hiçbir zaman gerçek hayatta veri alamazsınız. Bunun nedeni sadece örnekleme hatasıdır . Benzer şekilde, çok olası değildir, örnek veriler için sıfır çarpıklık katsayısı ve sıfır fazla basıklık elde edersiniz. Profesörünüz, örnek istatistiklerden dağılım hakkında fikir edinmek için size basit bir kural veriyor. Bu genel olarak doğru değil (daha fazla bilgi almadan).

Pratik amaçlar için, bunun gibi altta yatan süreçler, herhangi bir kaş kaldırmadan genellikle normal dağılıma çok iyi yaklaşır.

Bununla birlikte, bilgiçlikçi olmak istiyorsanız, bu durumda temel süreç normal olarak dağıtılamaz, çünkü negatif değerler üretemez (düşme sayısı negatif olamaz). Aslında en azından ikinci pik sıfıra yakın iki-modlu bir dağılım olsaydı şaşırmazdım.