Güven aralıkları hassasiyet hakkında ne söyler (eğer varsa)?

Morey ve arkadaşları (2015), güven aralıklarının yanıltıcı olduğunu ve bunların anlaşılmasıyla ilgili birçok önyargı bulunduğunu savunmaktadır. Diğerleri arasında, hassasiyet yanlışlıklarını aşağıdaki gibi tarif ederler:

Kesinlik yanlışlığı
Bir güven aralığı genişliğinin parametre hakkındaki bilgimizin kesinliğini gösterir. Dar güven aralıkları kesin bilgi gösterirken, geniş güven hataları kesin olmayan bilgileri gösterir.

Bir tahminin kesinliği ile güvenirlik aralığının boyutu arasında gerekli bir bağlantı yoktur. Bunu görmenin bir yolu, iki araştırmacı - kıdemli bir araştırmacı ve doktora öğrencisi - bir denemede $50$ katılımcının verilerini analiz etmektir . Doktora öğrencisinin yararına bir tatbikat olarak, kıdemli araştırmacı katılımcıları rastgele bir şekilde gruba ayırmaya karar verir, böylece her biri veri setinin yarısını ayrı ayrı analiz edebilir. Bir sonraki toplantıda, biriyle iki pay başka onların Student ortalama için güven aralıkları. Doktora öğrencisinin CI ve kıdemli araştırmacı CI .t 95 % 52 ± 2 95 % 53 ± $25$$t$$95\%$$52 \pm 2$$95\%$$53 \pm 4$

Üst araştırmacı notları sonuçları büyük ölçüde uyumlu olduğu ve onların ilgili iki nokta tahminleri, eşit-ağırlıklı ortalama kullanabileceği gerçek ortalama genel bir tahmin olarak,.$52.5$

Bununla birlikte, doktora öğrencisi, iki araçlarının eşit şekilde ağırlıklandırılmaması gerektiğini savunuyor: CI'sinin yarı yarıya geniş olduğunu ve tahmininin daha kesin olduğunu ve dolayısıyla daha ağır olması gerektiğini belirtti. Danışmanı bunun doğru olamayacağına dikkat çekiyor, çünkü iki aracı eşit olmayan bir şekilde ağırlıklandırmanın tahmini, olması gereken tüm veri setinin analiz edilmesinden farklı olacaktır . Doktora öğrencisinin hatası, CI'lerin doğrudan veri sonrası hassasiyeti gösterdiğini varsaymaktadır.$52.5$

Yukarıdaki örnek yanıltıcı görünüyor. Bir örneği rastgele ikiye, iki örneğe bölersek, hem örnek yollarının hem de standart hataların yakın olmasını bekleriz. Bu durumda, ağırlıklı ortalama kullanımı (örneğin ters hatalarla ağırlıklı) ve basit aritmetik ortalama kullanımı arasında herhangi bir fark olmamalıdır. Bununla birlikte, tahminler farklılık gösterir ve örneklerden birindeki hatalar gözle görülür derecede daha büyükse, bu, bu tür örneklerle "sorun" önerebilir.

Açıkçası, yukarıdaki örnekte, numune boyutları aynıdır, bu nedenle ortalamaları alarak verileri "geri birleştirmek" tüm numunenin ortalaması almakla aynıdır. Buradaki problem, tüm örneğin, numunenin önce parçalara bölündüğü, daha sonra da son tahminde tekrar bir araya getirileceği yanlış tanımlanmış mantığı izlemesidir.

Örnek, tam tersi bir sonuca varabilmek için yeniden ifade edilebilir:

Araştırmacı ve öğrenci veri setini iki yarıya ayırmaya ve bağımsız olarak analiz etmeye karar verdi. Daha sonra, tahminlerini karşılaştırdılar ve örneklemin hesapladıkları anlamına geldiği çok farklı görünüyordu, ayrıca öğrencinin tahmininin standart hatası çok daha büyüktü. Öğrenci, tahmininin kesinliği ile ilgili sorunlar önerebileceğinden korkuyordu, ancak araştırmacı güven aralıkları ile kesinlik arasında bir bağlantı olmadığını ima ettiğinden, tahminlerin her ikisi de eşit derecede güvenilirdir ve rastgele seçilen her birini yayınlayabilir. nihai tahmini olarak.

Öğrencinin gibi, daha resmi "standart" güven aralıkları bunu belirten , hatalar dayanmaktadır$t$

burada bir sabittir. Bu durumda, doğrudan hassasiyetle ilgilidir, öyle değil mi?$c$

Öyleyse benim sorum şu:
Hassasiyet yanlışlığı gerçekten bir yanlışlık mı? Güven aralıkları hassasiyet hakkında ne söyler?

Morey, R., Hoekstra, R., Rouder, J., Lee, M., & Wagenmakers, E.-J. (2015). Güven aralıklarında güven verme yanlışlığı. Psychonomic Bülten ve İnceleme, 1–21. https://learnbayes.org/papers/confidenceIntervalsFallacy/

Makalede, hassasiyet yanlışlığını birçok şekilde gösteriyoruz. İstediğiniz - gazetede ilk - Örnek, basit bir "CI = hassasiyet" in yanlış olduğunu göstermek içindir. Bu, herhangi bir yetkili frekansçı Bayesyen veya olabilirlikçinin, bununla karıştırılacağını söylemek değildir.

Neler olup bittiğini görmenin başka bir yolu: CI'lere henüz söylenmiş olsaydık, yine de örneklerdeki bilgileri bir araya getiremeyiz; bilmemiz gerekir ve bundan biz içine CI'ler emebildiğini ˉ x ve s 2 ve böylece düzgün iki numune birleştirir. Bunu yapmamızın nedeni, CI'daki bilgilerin rahatsızlık parametresi üzerinde marjinal olmasıdır. Her iki numunenin de aynı rahatsızlık parametresi hakkında bilgi içerdiğini dikkate almalıyız. Bu, her iki computing içerir s 2 genel bir tahmin almak için birleştirerek, değerleri σ 2 daha sonra yeni bir CI işlem.$N$$\bar{x}$$s^2$$s^2$$\sigma^2$

Hassas yanlışlığın diğer gösterilerine gelince, bkz.

• Welch (1939) bölümünde (denizaltı) bulunan çoklu CI'ler, bunlardan biri yukarıda @dsaxton tarafından belirtilen "önemsiz" CI'yi içerir. Bu örnekte, optimal CI, olasılığın genişliğini takip etmez ve her ikisini birden yapmayan CI örnekleri de vardır.
• CI'lerin - hatta "iyi" CI'lerin bile boş olabileceği gerçeği, sınırsız hassasiyet gösteren "yanlış"

Anlaşmanın cevabı, en azından CI'nın savunucularının düşündüğü şekilde ("bir tahminin bir parametreye ne kadar yakın" olduğuna dair deneysel bir değerlendirme), güven aralıklarının genel olarak sahip olduğu bir özellik olmadığıdır. ve onlar demek istemediler. Özel güven prosedürleri ... olabilir veya olmayabilir.

Ayrıca buradaki tartışmaya bakın: http://andrewgelman.com/2011/08/25/why_it_doesnt_m/#comment-61591

Her şeyden önce, kendimizi yalnızca kesin pozitif sonlu genişliğe sahip aralıklar üreten CI prosedürleriyle sınırlayalım (patolojik durumlardan kaçınmak için).

Bu durumda, hassasiyet ve CI genişliği arasındaki ilişki teorik olarak gösterilebilir. Ortalama için bir tahminde bulun (var olduğunda). Ortalama için CI’niz çok darsa, o zaman iki yorumunuz vardır: ya biraz şansın yaverdi ve numunen çok sıkı bir şekilde kümelendi (bunun% priori olma ihtimali%) ya da aralığın gerçek ortalamayı kapsıyor (% 95 a priori şansı). Tabii ki, gözlemlenen CI bu ikisinden biri olabilir, ancak hesaplamalarımızı, ikincisinin gerçekleşmesi çok daha muhtemel olacak şekilde ayarladık (yani,% 95 priori şansı) ... dolayısıyla, yüksek dereceye sahibiz arasında güvenbizim aralığımız ortalamayı kapsıyor, çünkü işleri olasılıkla ayarladık, bu yüzden öyle. Bu nedenle,% 95'lik bir CI bir olasılık aralığı değildir (Bayesian Credible Interval gibi), fakat daha çok "güvenilir bir danışman" gibi ... ... istatistiki olarak,% 95 oranında haklı olan bir kişi, bu yüzden cevaplarına güveniyoruz Herhangi bir özel cevap çok yanlış olabilir.

Gerçek parametreyi kapsadığı vakaların% 95'inde, genişlik size verilerle verilen makul değerlerin aralığı hakkında bir şeyler söyler (yani, gerçek değeri ne kadar iyi bağlayabileceğiniz), dolayısıyla bir hassasiyet ölçüsü gibi davranır. . Olmadığı vakaların% 5'inde CI yanıltıcıdır (örnek yanıltıcı olduğu için).

Yani,% 95 CI genişlik hassasiyet gösteriyor mu ... Ben% 95 şansı olduğunu söyleyebilirim (CI genişliğinizin pozitif-sonlu olması şartıyla) ;-)

Mantıklı bir CI nedir?

Özgün yazarın gönderisine yanıt olarak, (a) "split sample" örneğinin çok özel bir amacı olduğunu ve (b) yorum yapan tarafından istendiği gibi biraz daha arka plan sağlamak için verdiğim yanıtı gözden geçirdim:

İdeal (sıkça) bir dünyada, tüm örnekleme dağılımları, kesin güven aralıkları elde etmek için kullanabileceğimiz önemli bir istatistiği kabul eder. Önemli istatistikler hakkında bu kadar iyi olan şey nedir? Dağılışı, tahmin edilen parametrenin gerçek değerini bilmeden elde edilebilir! Bu güzel durumlarda, örnek parametremizin gerçek parametreye göre (gauss olmasa da) bu parametre hakkında tam bir dağılımına sahibiz.

Daha kısaca şunu belirtin: Hata dağılımını (veya bunun bir dönüşümünü) biliyoruz .

Bu, mantıklı güven aralıkları oluşturmamıza izin veren bazı tahmin edicilerin niteliğidir. Bu aralıklar sadece tanımlarını yerine getirmekle kalmaz ... bunu gerçek tahmin hatasının dağıtımından türetilmesi sayesinde yaparlar.

Gauss dağılımı ve ilişkili Z istatistiği, ortalama için tam bir CI geliştirmek için önemli bir miktarın kullanımının kanonik bir örneğidir. Daha ezoterik örnekler var, ancak bu genel olarak Gaussian CI'lerin ardındaki teoriyi gerçek bir önemli miktar kabul etmeyen dağılımlara uygulayan bir girişim olan "büyük örnek teorisini" motive edendir. Bu durumlarda, yaklaşık olarak pivotal veya asimptotik olarak pivotal (numune büyüklüğünde) miktarları veya "yaklaşık" güven aralıklarını okuyacaksınız ... bunlar olasılık teorisine dayanmaktadır - özellikle birçok MLE için hata dağılımı normal bir dağılıma yaklaşır.

Hassas CI'lerin üretilmesi için bir başka yaklaşım, bir hipotez testinin "ters çevrilmesi" dir. Fikir, "iyi" bir testin (örneğin, UMP) belirli bir Tip I hata oranı için iyi (okuma: dar) bir CI ile sonuçlanmasıdır. Bunlar tam bir kapsama alanı sağlamaz, ancak daha düşük sınırlamalı kapsama sağlar (not:% X'in -C1'in gerçek tanımı sadece zamanın en az % X'inin gerçek parametresini kapsaması gerektiğini söyler ).

Hipotez testlerinin kullanımı doğrudan önemli bir miktar veya hata dağılımı gerektirmez - duyarlılığı, temel testin duyarlılığından kaynaklanır. Örneğin, reddetme bölgesi zamanın% 0,5'i uzun, sonsuz uzunluğu% 95'i olan bir testimiz olsaydı, CI'ların olduğu yere geri dönerdik - ama bu testin böyle olmadığı açık. verilere bağlı ve bu nedenle test edilmekte olan parametre hakkında herhangi bir bilgi sağlamayacaktır.

Bu daha geniş fikir - kesinliğin bir tahmininin verilere bağlı olması gerektiği, Fischer'e ve yardımcı istatistikler fikrine geri döner. Testinizin veya CI prosedürünüzün sonucunun verilerle koşullu OLMADIĞINDAN EMİN OLABİLİRSİNİZ (yani koşullu davranışı koşulsuz davranışıyla aynıdır), o zaman elinizde şüpheli bir yöntem bulunduğundan emin olabilirsiniz.

I think the precision fallacy is a true fallacy, but not necessarily one we should care about. It isn't even that hard to show it's a fallacy. Take an extreme example like the following: we have a sample $\{x_1, x_2, \ldots , x_n \}$ from a normal$(\mu, \sigma^2)$ distribution and wish to construct a confidence interval on $\mu$, but instead of using the actual data we take our confidence interval to be either $(- \infty, \infty)$ or $\{ 0 \}$ based on the flip of a biased coin. By using the right bias we can get any level of confidence we like, but obviously our interval "estimate" has no precision at all even if we end up with an interval that has zero width.

The reason why I don't think we should care about this apparent fallacy is that while it is true that there's no necessary connection between the width of a confidence interval and precision, there is an almost universal connection between standard errors and precision, and in most cases the width of a confidence interval is proportional to a standard error.

I also don't believe the author's example is a very good one. Whenever we do data analysis we can only estimate precision, so of course the two individuals will reach different conclusions. But if we have some privileged knowledge, such as knowing that both samples are from the same distribution, then we obviously shouldn't ignore it. Clearly we should pool the data and use the resulting estimate of $\sigma$ as our best guess. It seems to me this example is like the one above where we only equate confidence interval width with precision if we've allowed ourselves to stop thinking.

I think the demonstrable distinction between "confidence intervals" and "precision" (see answer from @dsaxton) is important because that distinction points out problems in common usage of both terms.

Quoting from Wikipedia:

The precision of a measurement system, related to reproducibility and repeatability, is the degree to which repeated measurements under unchanged conditions show the same results.

One thus might argue that frequentist confidence intervals do represent a type of precision of a measurement scheme. If one repeats the same scheme, the 95% CI calculated for each repetition will contain the one true value of the parameter in 95% of the repetitions.

This, however, is not what many people want from a practical measure of precision. They want to know how close the measured value is to the true value. Frequentist confidence intervals do not strictly provide that measure of precision. Bayesian credible regions do.

Some of the confusion is that, in practical examples, frequentist confidence intervals and Bayesian credible regions "will more-or-less overlap". Sampling from a normal distribution, as in some comments on the OP, is such an example. That may also be the case in practice for some of the broader types of analyses that @Bey had in mind, based on approximations to standard errors in processes that have normal distributions in the limit.

If you know that you are in such a situation, then there may be no practical danger in interpreting a particular 95% CI, from a single implementation of a measurement scheme, as having a 95% probability of containing the true value. That interpretation of confidence intervals, however, is not from frequentist statistics, for which the true value either is or is not within that particular interval.

If confidence intervals and credible regions differ markedly, that Bayesian-like interpretation of frequentist confidence intervals can be misleading or wrong, as the paper linked above and earlier literature referenced therein demonstrate. Yes, "common sense" might help avoid such misinterpretations, but in my experience "common sense" isn't so common.

Other CrossValidated pages contain much more information on confidence intervals and the differences between confidence intervals and credible regions. Links from those particular pages are also highly informative.

@Bey has it. There is no necessary connection between scores and performance nor price and quality nor smell and taste. Yet the one usually informs about the other.

One can prove by induction that one cannot give a pop quiz. On close examination this means one cannot guarantee the quiz is a surprise. Yet most of the time it will be.

It sounds like Morey et al show that there exist cases where the width is uninformative. Although that is sufficient to claim "There is no necessary connection between the precision of an estimate and the size of a confidence interval", it is not sufficient to further conclude that CIs generally contain no information about precision. Merely that they are not guaranteed to do so.

(Insufficient points to + @Bey's answer. )