T-testinin geçerli olması için gereken minimum örneklem büyüklüğü var mı?

Şu anda yarı deneysel bir araştırma makalesi üzerinde çalışıyorum. Seçilen alandaki düşük nüfustan dolayı sadece 15'lik bir örneklem büyüklüğüne sahibim ve yalnızca 15 kriterime uyuyor. 15, t testi ve F testi için hesaplanacak minimum numune büyüklüğü mü? Öyleyse, bu küçük örneklem boyutunu desteklemek için nereden bir makale veya kitap bulabilirim?

Bu makale geçen Pazartesi zaten savundu ve panellerden birinin destekleyici bir referansı olması istendi, çünkü örneklem büyüklüğüm çok düşük. En az 40 katılımcı olması gerektiğini söyledi.

Testin geçerli olması için minimum örneklem büyüklüğü yoktur. Geçerlilik, test istatistiğine ilişkin varsayımların yaklaşık olarak tutulmasını gerektirir. Bu varsayımlar, bir örnek durumda, boş hipotez altında ortalama 0 ve ortalama olarak bilinmeyen ancak numuneden tahmin edilen bir varyans altında verilerin normal (veya yaklaşık olarak normal) olduğu iddiasındadır. İki örnekte, her iki numunenin de birbirinden bağımsız olduğu ve her numunenin, boş hipotezi altında aynı ortalama ve ortak bilinmeyen bir varyansa sahip olan iki numune ile normal normal değişkenlerden oluştuğu belirlenmiştir. İstatistiksel olarak havuzlanmış bir varyans tahmini kullanılmıştır.

Bir örnek durumda sıfır hipotezi altında dağıtım merkezi bir t ile n-1 serbestlik derecesi. Örnek boyutlarıyla, iki örnek durumlarda , n ve m zorunlu test istatistiklerinin boş dağılımı eşit değildir t ile n + m-2 serbestlik derecesi. Düşük numune büyüklüğüne bağlı olarak artan değişkenlik, serbestlik derecelerinin düşük olduğu ve daha düşük örneklem büyüklüğüne tekabül eden daha ağır kuyruklara sahip olan dağıtımda hesaba katılır. Bu nedenle, test istatistiklerinin herhangi bir örneklem büyüklüğü için belirli bir önem seviyesine sahip olması için kritik değerler bulunabilir (en azından 2 veya daha büyük boyutta).

Düşük örneklem büyüklüğündeki problem testin gücüyle ilgilidir. Gözden geçiren kişi, grup başına 15'in, bir örnek problem için mutlak değerde iki araç arasında veya deltadan daha büyük bir ortalama arasında anlamlı bir fark tespit etme gücüne sahip olacak kadar büyük bir örneklem büyüklüğü olmadığını düşünmüş olabilir. 40'a ihtiyaç duymak, 40'a eşit olmayan, ancak 40'a eşit olmayan n ile elde edilebilecek belirli bir deltada belirli bir gücün spesifikasyonunu gerektirecektir.

Testin yapılacağı t testi için, varyans veya varyansı tahmin edebilecek kadar büyük olması gerektiğini de eklemeliyim.

Ona olan tüm saygısı ile, neden bahsettiğini bilmiyor. T-testi küçük örneklerle çalışmak için tasarlanmıştır. Gerçekten minimum değil (belki bir örnek t testi, IDK için minimum 3 diyebilirsiniz), ancak küçük örneklerde yeterli güçle ilgili endişeleriniz var . Sizin durumunuzda olduğu gibi, olası örneklem büyüklüğü oldukça kısıtlı olduğunda, güç analizinin uzlaşmasının arkasındaki fikirleri okumakla ilgilenebilirsiniz .

T-testini küçük örneklerle kullanabileceğinizi kanıtlayan bir referans olarak, bir tanesini bilmiyorum ve bunun olduğundan şüpheliyim. Neden kimse bunu ispatlamaya çalışsın? Fikir sadece saçma.

Mevcut cevaplarda belirtildiği gibi, küçük bir örneklem büyüklüğüne sahip ana konu düşük istatistiksel güçtür. Neyin istatistiksel olarak kabul edilebilir olduğuna dair çeşitli kurallar vardır. Bazı insanlar% 80 istatistiksel gücün makul olduğunu ancak sonuçta daha iyi olduğunu söylüyor. Ayrıca, daha fazla katılımcı almanın maliyeti ile daha fazla istatistiksel güç elde etmenin faydası arasında bir denge vardır.

Testteki istatistiki gücünü, R, 'deki basit bir işlevi kullanarak değerlendirebilirsiniz power.t.test.

$\alpha=.05$

p.2 <-power.t.test(n=15, delta=.2, sd=1, sig.level=.05, type='one.sample')
p.5 <- power.t.test(n=15, delta=.5, sd=1, sig.level=.05, type='one.sample')
p.8 <-power.t.test(n=15, delta=.8, sd=1, sig.level=.05, type='one.sample')

round(rbind(p.2=p.2$power, p.5=p.5$power, p.8=p.8$power), 2)  

    [,1]
p.2 0.11
p.5 0.44
p.8 0.82

Dolayısıyla, popülasyon etki büyüklüğü "küçük" veya "orta" olsaydı, istatistiksel olarak düşük bir güce sahip olacağınızı görebiliyoruz (sırasıyla% 11 ve% 44). Bununla birlikte, eğer popülasyondaki etki büyüklüğü büyükse, bazılarının “makul” bir güç olarak tanımlayacağı şeye sahip olursunuz (örneğin,% 82).

Quick-r web sitesi, R kullanarak güç analizi hakkında daha fazla bilgi sağlar .

İki örneklem t testi, iki örneklemin aynı varyansa sahip Normal dağılımlardan bağımsız basit rastgele örnekler olması ve örneklem boyutlarının her birinin en az iki olması durumunda geçerlidir (böylece popülasyon varyansı tahmin edilebilir.) Testin geçerliliği sorusuyla ilgisi yoktur. Tespit etmek istediği etkinin boyutuna bağlı olarak, küçük bir örnek büyüklüğü titiz olabilir, ancak küçük bir örnek büyüklüğü testi geçersiz kılmaz. Ayrıca, herhangi bir örneklem büyüklüğü için, eğer ebeveyn dağılımı Normal ise, ortalamanın örnekleme dağılımının Normal olduğunu unutmayın. Elbette, daha büyük örneklem büyüklükleri her zaman daha iyidir, çünkü daha kesin bir parametre tahminleri sağlarlar. Merkez Sınırı Teoremi bize örnek araçlarının bireysel değerlerden daha normal dağılıma sahip olduğunu, ancak Casella ve Berger'in belirttiğini söyler: Herhangi bir özel durum için Normallik'e yaklaşım oranının kontrol edilmesi gerektiğinden, sınırlı fayda vardır. Temel kurallara güvenmek akıllıca değildir. Rand Wilcox'un kitaplarının raporlarına bakınız.

T-dağılımının küçük örneklem büyüklüğünü hesaba kattığı doğru olsa da, hakemin, sahip olduğunuz tek bilgi nispeten küçük bir örnek olduğunda, popülasyonun normal şekilde dağıldığını tespit etmenin zorluğunu düşündüğünü varsayardım. Bu, 15 büyüklüğünde bir örneklemle büyük bir sorun olmayabilir, çünkü örneklemenin belli belirsiz şekilde normal dağılım gösterdiğine dair bazı işaretler gösterecek kadar büyük olması umuduyla değil mi? Eğer bu doğruysa, umarım ki nüfus da normalin yakınında bir yerdedir ve Merkezi Limit Teoremi ile bir araya getirildiğinde, size yeterince iyi davranılmış olan örnekler vermelidir.

Ancak, nüfusun normalliği bazı dışsal bilgiler veya mekanik bir anlayışla tespit edilemezse, küçük numuneler için t-testlerini kullanma önerileri (dördüncü boyut gibi) konusunda şüpheliyim? Nüfus dağılımının şekli olarak herhangi bir ipucuna sahip olmak için dördüncü büyüklükteki bir örnekte, yeterince bilgiye yakın hiçbir yerde bulunamaz.

Aşağıdakileri, Sauro, J., & Lewis, JR (2016) 'nın s. Kullanıcı Deneyimini Ölçme: Kullanıcı Araştırması için Pratik İstatistikler, 2nd Ed. Cambridge, MA: Morgan-Kaufmann (içeride https://www.amazon.com/Quantifying-User-Experience-Second-Statistics/dp/0128023082/ adresinden bakabilirsiniz ).

EN SON 30 KULLANICIYLA TEST YAPMAYA İHTİYACINIZ VAR MI?

BİR ELİNDE

Muhtemelen, bir giriş istatistiği dersi alan (veya böyle bir dersi alan birini tanıyan) çoğumuz, tahmin etmek veya karşılaştırmak anlamına gelebilecek bir kural olduğunu duydum, örneklem büyüklüğünüz en az 30 olmalıdır. Merkezi limit teoremine göre, Numune büyüklüğü arttıkça, ortalamanın dağılımı, alttaki dağılımın normalliğinden bağımsız olarak daha da normal hale gelir. Bazı simülasyon çalışmaları, çok çeşitli dağılımlar için (ama hepsi değil - bkz. Bradley, 1978), ortalamanın dağılımının n = 30 olduğunda normale yakınlaştığını göstermiştir.

Diğer bir husus, z-puanları serbestlik derecelerinin kullanılmasını gerektirmediğinden, t-puanları yerine z-puanlarını kullanmanın biraz daha basit olmasıdır. Tablo 9.1 ve Şekil 9.2'de gösterildiği gibi, yaklaşık 30 serbestlik dereceniz olduğunda, t değeri z değerine oldukça yaklaşır. Sonuç olarak, küçük örneklem istatistiği gerektiren küçük örneklerle uğraşmak zorunda olmadığınızı hissedebilirsiniz (Cohen, 1990). ...

DİĞER YANDAN

Bir numunenin maliyeti pahalı olduğu zaman, tipik olarak birçok kullanıcı araştırması türünde olduğu gibi (örneğin, modüle edilmiş kullanılabilirlik testi), gerekli numune boyutunu mümkün olduğu kadar doğru bir şekilde tahmin etmek önemlidir. Belirli bir koşul kümesi için 30'un tam olarak doğru örnek olma olasılığı çok düşüktür. Örneklem büyüklüğü tahmini hakkındaki bölümlerimizde gösterildiği gibi, daha uygun bir yaklaşım, istatistiksel bir testin önem seviyelerinin hesaplanması için formüllerin alınması ve n için çözmek için cebir kullanılması, bunları örnek büyüklüğü hesaplama formüllerine dönüştürmektir. Bu formüller daha sonra, gerekli numune boyutunu tahmin etmek için belirli bir durum için bilmeniz veya tahmin etmeniz gerekenler hakkında özel rehberlik sağlar.

T-dağılımıyla (z-dağılımının aksine) bile, en az 30'luk bir örneklem büyüklüğüne sahip olmanız gerektiği fikri, dağıtımın gelişim tarihi ile tutarsızdır. 1899'da Oxford'da New College'da kimya ve matematik dereceleriyle mezun olan William S. Gossett, Guinness bira fabrikasına katılan ilk bilim insanlarından biri oldu. “Gününün devleriyle karşılaştırıldığında, çok az yayın yaptı, ancak katkısı kritik öneme sahip. … Demleme işleminin niteliği, sıcaklık ve içerikteki değişkenliği ile uzun süre boyunca büyük numunelerin alınmasının mümkün olmadığı anlamına gelir ”(Cowles, 1989, s. 108–109).

Bu, Gossett'in eserinde z-puanlarını kullanamayacağı anlamına geliyordu; sadece küçük örneklerle iyi çalışmadılar. Küçük örneklerle yapılan istatistiksel testler için z dağılımının eksikliklerini analiz ettikten sonra, yayınlamayı yasaklayan Guinness politikaları nedeniyle “Öğrenci” takma adı altında yayınlanan tablolarını oluşturmak için serbestlik derecelerinin bir fonksiyonu olarak gerekli ayarlamaları yaptı. çalışanlar tarafından (Salsburg, 2001). Tabloların yayınlanmasına yol açan çalışmada, Gossett, Monte Carlo simülasyonlarının erken bir versiyonunu gerçekleştirmiştir (Stigler, 1999). Suçlulara yapılan fiziksel ölçümlerle etiketlenmiş 3000 kartı hazırladı, karıştırdı, sonra onları 4'ten 750'ye kadar olan, yani 30'dan daha küçük bir örneklem grubuyla dağıttı.

BİZİM ÖNERİMİZ

Bu tartışma “Beşinci Yeterince” ile aynıdır, ancak 6. Bölümde yer alan “Sekiz Yeterli Değil” argümanına benzer, ancak biçimlendirici araştırmalardan ziyade özetleyici olarak uygulanır. Herhangi bir araştırma için, test edilecek kullanıcı sayısı testin amacına ve toplamayı planladığınız veri türüne bağlıdır. “Sihirli sayı” 30 bazı deneysel gerekçelere sahiptir, ancak bizce çok zayıf. Bu kitapta, 30'a eşit olmayan (bazen daha az, bazen daha fazla) örneklem büyüklüğüne sahip sayısız örnekten görebileceğiniz gibi, bu genel kuralları çok fazla dikkate almıyoruz. Özet araştırma için örneklem büyüklüğü bölümünde açıklandığı gibi, bir çalışma için uygun örneklem büyüklüğü dağılımın türüne, verilerin beklenen değişkenliğine, istenen güven ve güç seviyelerine,

Şekil 9.2'de gösterildiği gibi, t-dağılımını çok küçük numunelerle kullanırken (örneğin, 5'den düşük serbestlik derecelerinde), t'nin çok büyük değerleri Tip I hatalarının kontrolü bakımından küçük numune boyutlarını telafi eder ( bir fark iddia etmek, gerçekten olmadığı zaman anlamlıdır). Bu küçük örneklem büyüklükleriyle, güven aralıklarınız daha büyük örneklerle elde edeceğinizden çok daha geniş olacaktır. Ancak, 5 dereceden fazla serbestlik derecesine sahip olduğunuzda, z'nin değeri ile t'nin değeri arasında çok az kesin bir fark vardır. T'den z'ye yaklaşım açısından 10 serbestlik derecesinden çok az kazanç var.

T-dağılımını kullanmak z-dağılımından ziyade daha karmaşık değildir (yalnızca serbestlik dereceleri için doğru değeri kullandığınızdan emin olmanız gerekir) ve t-dağılımının gelişmesinin nedeni Küçük örneklerin analizini mümkün kılar. Bu, kullanılabilirlik uygulayıcılarının bira ve bira bira pratiğinden yararlanmalarının daha az açık yollarından sadece bir tanesidir. İstatistik tarihçileri, Gossett'in Öğrenci t-testi yayınını bir dönüm noktası olayı olarak görmektedir (Box, 1984; Cowles, 1989; Stigler, 1999). Gossett, “A., modern istatistiklerin babalarından biri” olan t. Gossett bir çok şeyi doğru yaptı, ama kesinlikle bunu yanlış anladı.

REFERANSLAR

Box, GEP (1984). İstatistiğin gelişiminde uygulamanın önemi. Technometrics, 26 (1), 1-8.

Box, JF (1978). Fisher, bir bilim insanının hayatı. New York, NY: John Wiley.

Bradley, JV (1978). Bozulmazlık? İngiliz Matematiksel ve İstatistik Psikoloji Dergisi, 31, 144-152.

Cohen, J. (1990). Öğrendiğim şeyler (şimdiye kadar). Amerikan Psikoloğu, 45 (12), 1304-1312.

Cowles, M. (1989). Psikolojide İstatistik: Tarihsel bir bakış açısı. Hillsdale, NJ: Lawrence Erlbaum.

Salsburg, D. (2001). Çay tadımı yapan bayan: İstatistikler yirminci yüzyılda bilimde nasıl bir devrim yarattı. New York, NY: WH Freeman.

Stigler, SM (1999). Tablodaki İstatistikler: İstatistiksel kavram ve yöntemlerin tarihi. Cambridge, MA: Harvard Üniversitesi Yayınları.

Czarina, parametrik t-testinin sonuçlarını bir önyükleme t-testi ile elde edilen sonuçlarla karşılaştırmak için ilginç olabilir. Stata 13/1 için aşağıdaki kod, eşit olmayan varyanslara sahip iki örnekli bir t-testi ile ilgili hayali bir örneği taklit eder (parametrik t-testi: p-değeri = 0.1493; bootstrap t-testi: p-değeri = 0.1543).

set obs 15
g A=2*runiform()
g B=2.5*runiform()
ttest A == B, unpaired unequal
scalar t =r(t)
sum A, meanonly
replace A=A-r(mean) + 1.110498 ///1.110498=combined mean of A and B
sum B, meanonly
replace B=B-r(mean) + 1.110498
bootstrap r(t), reps(10000) nodots///
saving(C:\Users\user\Desktop\Czarina.dta, every(1) double replace) : ///
ttest A == B, unpairedunequal
use "C:\Users\user\Desktop\Czarina.dta", clear
count if _bs_1<=-1.4857///-1.4857=t-value from parametric ttest
count if _bs_1>=1.4857
display (811+732)/10000///this chunk of code calculates a bootstrap p-value///
to be compared with the parametric ttest p-value

T-testinin kullanımını haklılaştırmanın iki farklı yolu vardır.

• Verileriniz normal olarak dağıtılır ve grup başına en az iki örneğiniz vardır
• Her grupta büyük örneklem büyüklükleriniz var

Bu vakalardan herhangi biri geçerli olursa , o zaman t-testi geçerli bir test olarak kabul edilir. Dolayısıyla, verilerinizin normal olarak dağıtıldığı (küçük örnekleri toplayan birçok araştırmacı) olduğu varsayımıyla istekliyseniz, endişelenecek bir şeyiniz yok.

Bununla birlikte, birileri, sonuçlarınızı almak için, özellikle verilerinizin çarpık olduğu biliniyorsa, bu varsayıma güvendiğinizi makul olarak itiraz edebilir. O zaman geçerli çıkarım için gerekli olan örneklem büyüklüğü sorunu çok makul.

Örneklem büyüklüğünün ne kadar büyük olması gerektiğine dair, ne yazık ki bunun için gerçek bir cevap yok; Verileriniz ne kadar eğikse, yaklaşımı makul hale getirmek için gereken örneklem büyüklüğü o kadar büyük olur. Grup başına 15-20 genellikle makul büyük kabul edilir, ancak çoğu kuralda olduğu gibi, karşı örnekler de vardır: örneğin, piyango bileti iadelerinde (1, yani, 10,000,000 gözlemin bir EXTREME outlier olduğu durumlarda) tam anlamıyla ihtiyacınız olacaktır. Bu testlerden önce 100.000.000 civarında gözlem var.

Yükseltilmiş t-testinin kullanışlılığı konusunda hemfikirim. Ayrıca, karşılaştırma olarak, Kruschke tarafından http://www.indiana.edu/~kruschke/BEST/BEST.pdf adresinde sunulan Bayesian yöntemine bir göz atmanızı tavsiye ederim . Genel olarak, "Kaç konu var?" Sorusu. Elde çözülen sorun açısından ne kadar önemli bir etki büyüklüğü olacağı hakkında bir fikriniz yoksa cevap verilemez. Diğer bir deyişle, eğer test yeni bir ilacın etkinliğine ilişkin varsayımsal bir çalışma olsaydı, etki büyüklüğü yeni ilacı ABD Gıda ve İlaç İdaresi için eskiye kıyasla haklı göstermek için gereken minimum boyut olabilir.

Bu ve diğer pek çok tartışmada garip olan, bazı verilerin Gaussian gibi teorik bir dağılıma sahip olduğunu göstermeye istekli olmaktır. İlk olarak, küçük numunelerle bile kontrol edebiliriz. İkincisi, neden herhangi bir teorik dağılım göstermiyor? Neden sadece verileri kendi başına ampirik bir dağılım olarak almıyorsunuz?

Küçük örneklem büyüklüklerinde, verilerin bir dağılımdan geldiğine işaret etmek, analiz için oldukça faydalıdır. Ancak, Bradley Efron'un ifadesine göre, bunu yaparken sınırsız miktarda veri oluşturdunuz. Sorununuz uygunsa bazen bu sorun olabilir. Bazı zamanlar değil.

İki örnek olay için varsayımlara göre; bu, her iki numunenin de birbirinden bağımsız olduğu ve her bir örnek, boş hipotez altında aynı orta ve ortak bilinmeyen bir varyansa sahip olan iki numune ile normal değişkenlerden ibarettir.

Standart hata için Satterwaite Yaklaşımını kullanan Welch t-testi de vardır. Bu eşitsiz varyanslar varsayan 2 örnekli bir t-testidir.

Welch'in t testi