Küçük bir numune boyutu tip 1 hatasına neden olabilir mi?


21

Küçük numune boyutunun yetersiz güç ve tip 2 hatasına yol açabileceğini öğrendim. Bununla birlikte, küçük örneklerin genellikle güvenilmez olabileceğini ve şans eseri herhangi bir sonuca yol açabileceğini hissediyorum. Bu doğru mu?


Gereksiz matematiksel gösterime karşı bir önyargım var, bu yüzden başlığı düzenledim, lütfen değiştirerek anlamını değiştirmediğimi kontrol edebilir misiniz?
mpiktas

1
Ayrıca önem testi değil (Fisher testleri) hipotez testi (Neyman-Pearson testleri) hakkında konuştuğunuzdan emin olun. Bu yaklaşımlar, ikincisinde hata kavramı olmasa bile yaygın olarak karıştırılır ve uygun kullanımların farklı olması gerekir, çünkü farklı sonuçlara yol açarlar.
Seb

Asimptotik bir test kullanıyorsanız, evet, mümkündür. Aksi takdirde, tip 1 hata oranını (yani ) kontrol etmek için hayır testi tanımlanmaz . α
Makro

Ancak bu doğru değil mi, eğer paraları iki kez çeviriyorsanız, çarpık sonuçla sonuçlanma olasılığınız (2 aynı taraf (% 100)), 100 kez çevirme zamanınızdan daha büyük olasılıkla yaklaşık 1 / 2, 1/2. Bu, boyut ne kadar küçük olursa, tip I hatasına neden olabileceğinizi göstermez mi?

Yanıtlar:


27

Genel bir ilke olarak, testin Tip I hızını kontrol etmek için düzenlendiği basit bir nedenden ötürü , küçük numune boyutu Tip I hata oranını arttırmaz . ( Nominal Tip I oranının özellikle küçük numune boyutlarında tam olarak elde edilmemesine neden olabilecek, ayrı sonuçlarla ilişkili küçük teknik istisnalar vardır .)

Burada önemli bir ilke vardır : eğer testiniz kabul edilebilir boyuta (= nominal Tip I oranı) ve aradığınız efekt için kabul edilebilir güce sahipse, örnek boyutu küçük olsa bile tamamdır.

Tehlike şu ki, aksi takdirde durum hakkında çok az şey biliyorsak - belki de bunlar sahip olduğumuz tüm verilerdir - o zaman "Tip III" hataları hakkında endişelenebiliriz: yani modelin yanlış tanımlanması. Küçük örnek setleri ile kontrol edilmesi zor olabilir.

Bir olarak pratik örnek fikirlerin etkileşimin, bir hikayem paylaşacak. Uzun zaman önce, çevre temizliğini onaylamak için örnek bir boyut tavsiye etmem istendi. Bu, herhangi bir veri almadan önce temizlik öncesi aşamadaydı . Benim planım 1000 kadar örneği analiz etmeye çağırdı . temizlik sırasında elde (her bir yerde yeterli toprağın çıkarıldığını tespit temizleme sonrası ortalamayı ve kirletici konsantrasyonunun varyansını değerlendirmek istedi. Daha sonra (büyük ölçüde basitleştirmek için), temizlemenin başarılı olduğunu kanıtlamak için kullanılacak bağımsız onay örneklerinin sayısını belirlemek için - belirtilen güç ve test boyutuna dayalı - bir ders kitabı formülü kullanacağımızı söyledim.

Bunu akılda kalıcı yapan şey, temizlik yapıldıktan sonra formülün sadece 3 numune kullandığı söyleniyordu. Aniden benim tavsiye çok güvenilir görünmüyordu!

Sadece 3 örneğe ihtiyaç duyulmasının nedeni temizliğin agresif olması ve iyi çalışmasıdır. Ortalama kirletici konsantrasyonlarını yaklaşık 100'e düşürdü ve sürekli olarak 500 ppm hedefinin altında 100 ppm verdi veya aldı.

Sonuçta bu yaklaşım , yapılan istatistiksel varsayımların aslında bu site için iyi olduğunu tespit etmek için önceki 1000 numuneyi (daha düşük analitik kalite de olsa: daha büyük ölçüm hatalarına sahip olduklarını) elde ettiğimiz için işe yaradı . Yani Tip III hatanın olası ele alındığı nasıl.

Göz önünde bulundurmanız gereken bir nokta daha: Düzenleyici kurumun asla sadece 3 örnek kullanmayı onaylamayacağını bilmek, 5 ölçüm almanızı tavsiye ettim. Bunlar tüm sitenin 25 rasgele numune yapılacak olan birleştirilmiş istatistiksel nihai hipotez testinde sadece 5 sayı olacağını 5'in gruplar halinde ama biz 25 fiziksel alarak bir izole "sıcak nokta" tespit etmek için daha fazla güç elde örnekleri. Bu , testte kaç sayı kullanıldığı ve bunların nasıl elde edildiği arasındaki önemli ilişkiyi vurgular . İstatistiksel karar vermede sayıları olan algoritmalardan daha fazlası var!

Sonsuz rahatlığım için, beş bileşik değer temizleme hedefine ulaşıldığını doğruladı.


1
(+1) agresif temizleme ve tip III hatası ile ilgili harika bir hikaye , eğer ekonomik zaman serileri için de uygunsa iyi olurdu. Deterministik modeller veya düşük gürültü oranına sahip modeller için küçük örnek boyutu IMHO en büyük problem olmayacaktır (çok gürültülü muhtemel bağımsız büyük örnek verilere kıyasla, ana bileşenler bile bunlarla zordur).
Dmitrij Celov

1
+1, ilk paragrafta bahsedilen "ayrık sonuçlarla ilişkili teknik istisnalar" konusunu daha fazla anlamak isteyenler için burada tartışıyorum: P-değerlerini, anlamlılık düzeylerini ve tip I hatasını karşılaştırmak ve karşılaştırmak .
gung - Monica'yı eski durumuna getirin

1
+1, anahtar bilgisi olmadan neden yararlı bir örnek boyutta vahşi bir bıçaklama yapamayacağınıza harika bir örnek.
Freya Harrison

0

Küçük bir numunenin bir başka sonucu da tip 2 hatasının artmasıdır.

Nunnally, "İstatistiklerin psikolojideki yeri", 1960'da küçük örneklerin genellikle bir nokta sıfır hipotezini reddetmediğini gösterdi. Bu hipotez, bazı parametrelere sıfır olan hipotezdir ve düşünülen deneyimlerde yanlış olduğu bilinmektedir.

Diğer taraftan, çok büyük örnekler tip 1 hatasını arttırır, çünkü p değeri numunenin boyutuna bağlıdır, ancak alfa anlamlılık seviyesi sabittir. Böyle bir numune üzerinde yapılan bir test her zaman sıfır hipotezini reddedecektir. Konuya genel bir bakış için Johnson ve Douglas'ın (1999) "İstatistiksel anlamlılık testinin önemsizliği" bölümünü okuyun.

Bu soruya doğrudan bir cevap değildir, ancak bu düşünceler tamamlayıcıdır.


Büyük örnekler ve Tip I hatası sorununu çağırmak için +1
Josh Hemann

6
-1, "çok büyük örnekler tür 1 hatasını artırır" yorumu yanlıştır. İstatistiksel önemi ve pratik önemi karıştırıyor olabilirsiniz , çünkü gerçek etkinin tam olarak 0 olmadığı, ancak sonuçsuz olduğu kadar küçük olduğu bir durum var olabilir ve pratik amaçlar için boş 'doğru' olarak düşünürüz . Bu durumda, sıfır (%) zamanın% 5'inden daha fazla ve daha sık olarak N'yi arttırırsa reddedilir. Bu nedenle, bu reddetmeler aslında tip I hataları değildir.
gung - Monica'yı eski durumuna getirin
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.