Neden normal hatalar yerine t hataları kullanmalıyız?

Gelen bu Andrew Gelman tarafından blog post aşağıdaki pasaj vardır:

50 yıl önceki Bayesian modelleri umutsuzca basit görünüyor (tabii ki, basit problemler hariç) ve bugünün Bayesian modellerinin umutsuzca basit görünmesini bekliyorum, bundan dolayı 50 yıl. (Sadece basit bir örnek için: muhtemelen hemen hemen her yerdeki normal hatalar yerine t rutin olarak kullanıyor olmalıyız, ancak bunu henüz bilmediğimiz, alışkanlık ve matematiksel uygunluk dışında yapmıyoruz. Bunlar, bilimdeki gibi iyi sebepler olabilir. siyasette muhafazakarlığın lehine çok iyi argümanları vardır - ama sanırım sonuçta daha karmaşık modellerde rahatladığımızda, o yöne doğru hareket edeceğiz.)

Neden "hemen hemen her yerde normal hatalar yerine düzenli olarak t kullanıyoruz"?

— patates
kaynak

Yanıtlar:

Çünkü, normal hatalar varsaymak etkili bir şekilde büyük hataların oluşmadığını varsaymakla aynıdır! Normal dağılım o kadar ki, standart sapmalarının dışındaki hataların olasılığı çok düşüktür, standart sapmalarının dışındaki hataların etkili bir şekilde imkansız olması. Uygulamada, bu varsayım nadiren doğrudur. İyi tasarlanmış deneylerden elde edilen küçük, düzenli veri kümelerini analiz ederken, artıkların iyi bir analizini yaparsak, bu çok önemli olmayabilir. Daha düşük kalitede veri ile, çok daha önemli olabilir. $\pm 3$ $\pm 6$

Olasılık temelli (ya da bayes) yöntemleri kullanırken, bu normalliğin etkisi (yukarıda belirtildiği gibi, etkili bir şekilde "büyük hata yok" - varsayım!) Çıkarımı çok az sağlam kılmaktır. Analizin sonuçları büyük hatalardan çok fazla etkilendi! Öyle olmalı, çünkü "büyük hata yok" varsayımı , yöntemlerimizi büyük hataları küçük hatalar olarak yorumlamaya zorlar ve bu yalnızca tüm hataları küçültmek için ortalama değer parametresini hareket ettirerek olabilir. Bunu engellemenin bir yolu "sağlam yöntemler" kullanmaktır, bkz. Http://web.archive.org/web/20160611192739/http://www.stats.ox.ac.uk/pub/StatMeth/Robust .pdf

Fakat Andrew Gelman bu işe yaramayacak çünkü sağlam yöntemler genellikle bayesyen olmayan bir yolla sunulur. Olabilirlik / Bayesian modellerinde t dağıtılmış hatalar kullanılarak olarak, sağlam bir yöntem elde etmek için farklı bir yol olduğunu çok büyük hata daha büyük bir kısmında sağlar, -Dağıtım normalden daha ağır kuyrukları sahiptir. Bu tahmin yöntemine (*) sağlamlığı özelliklerini bozar çünkü serbestlik dereceleri parametresi sayısı verilerden tahmin olup, önceden sabit olmalıdır (aynı zamanda çok zor bir problem, için olabilirlik fonksiyonu , sayı serbestlik dereceleri sınırsız olabilir, çok verimsiz (hatta tutarsız) tahmin edicilere yol açar. $t$ $\nu$

Örneğin, on gözlemden 1'inin “büyük hatalar” (3 sd'nin üstünde) olabileceğini düşünüyorsanız (3 sd'nin üzerinde), o zaman , bu sayıyı artırarak 2 serbestlik derecesine sahip bir dağılımı kullanabilirsiniz . büyük hataların oranının daha küçük olduğuna inanılıyor. $t$

Yukarıda söylediklerimin bağımsız dağıtılmış hatalara sahip modeller için olduğunu belirtmeliyim. Ayrıca, çok değişkenli dağılımının (bağımsız olmayan) hata dağılımı olarak önerileri bulunmaktadır . : O Teklif ağır "çok değişkenli bir eleştirisi imparatorun yeni giysiler kağıt eleştirilen Statistica Neerlandica (1997) Vol TS Breusch JC Robertson ve AH Welsh tarafından regresyon modeli". 51, nr. 3, pp. 269-286, burada çok değişkenli hata dağılımının ampirik olarak normalden ayırt edilemez olduğunu gösterirler. Ancak bu eleştiri bağımsız modelini etkilemez . $t$ $t$ $t$ $t$ $t$

(*) Bunu gösteren bir referans Venables & Ripley MASS --- S ile Modern Uygulamalı İstatistikler (4. basımdaki 110. sayfada).

— kjetil b halvorsen
kaynak

Mükemmel cevap (+1). sabit olsa bile , tahmin denklemlerinin kötü bir şekilde tanımlanması, eğer ise tanımlanamaz, bu nedenle parametresi sabitlenmiş dağılımı anlamına gelir . Bu, ilgili cevap gösterildiği gibi , söz Bu yerler daha ziyade sağlamlığına güçlü sınırları bu yaklaşımın beklenebileceğini.

ν

$\nu$

ν \leq 2

$\nu\leq2$

t

$t$

ν

$\nu$

ν > 2

$\nu>2$

— user603

Harika Cevap ve yorum. Ancak: 1. Gelman, Normal hatalar almaktan daha iyi olacak standart bir prosedürü savunuyor. Bu nedenle, basit (Normal hatalar) ile ilgili hataların T dağılımını karşılaştırmalıyız. 2. Kullanıcının bağladığı ilgili soruda603, eğer qe önceden bilgiye sahipse, onu kullanmamız gerektiğini not etmeliyiz. Bayes önceden bilgi ile öne çıkıyor. Ve örneklemede, kullanılmayan bir ön bilgimiz var. 3. Posterior öngörücü kontroller ile d know that the model proposed isnyeterince iyi değiliz .

— Manoel Galdino

@Neil G: Evet, ama cauchy olduğunu ! Elbette hangi ağır kuyruklu dağıtımı kullanmak için daha fazla analiz yapılması gerekiyor.

t_{1}

$t_1$

— kjetil b halvorsen

Hayır, t-dağılımı tek seçenek çünkü t-dağılımı Gauss modelinin arka öngörüsüdür. Gelman sadece t-dağılımını rastgele seçmiyordu.

— Neil G,

Bakınız: Murphy, Kevin P. "Gauss dağılımının konjuge Bayesian analizi." def 1.2σ2 (2007): 16. Gaussian modelinin posterior öngörücüsü olarak t-dağılımını türetir. Bu sadece keyfi ağır kuyruklu bir dağıtım seçen modelleyicinin bir hali değildir.

— Neil G,

Bu sadece "daha ağır kuyruklar" meselesi değildir - zil biçimli ve ağır kuyruklu birçok dağıtım vardır.

T dağılımı Gauss modelinin posterior öngörüsüdür. Eğer bir Gauss varsayımı yaparsanız, ancak sınırlı deliliniz varsa, ortaya çıkan model mutlaka merkezi olmayan ölçeklenmiş t-dağıtımlı tahminler yapıyor. Sınırda, sahip olduğunuz kanıtların sonsuzluğa gittiği için, t dağılımının sınırı Gaussian olduğu için Gauss tahminleri ile bitirdiniz.

Bu neden oluyor? Çünkü sınırlı miktarda kanıtla, modelinizin parametrelerinde belirsizlik vardır. Gauss modelinde, ortalamadaki belirsizlik yalnızca varyansı artıracaktır (yani, bilinen varyansa sahip bir Gauss'un arka öngörüsü hala Gauss'tur). Ancak varyansla ilgili belirsizlik, ağır kuyruklara neden olan şeydir. Model sınırsız kanıtlarla eğitilmişse, artık varyans (veya ortalama) konusunda herhangi bir belirsizlik yoktur ve Gauss tahminlerini yapmak için modelinizi kullanabilirsiniz.

Bu argüman bir Gauss modelinde de geçerlidir. Aynı zamanda, olasılıkları Gaussça olan, çıkarılan bir parametre için de geçerlidir. Sonlu veriler göz önüne alındığında, parametre hakkındaki belirsizlik t-dağılıdır. Normal varsayımlar (bilinmeyen ortalama ve varyans ile) ve sonlu veriler nerede olursa olsun, t-dağıtımlı arka tahminler vardır.

Tüm Bayesian modelleri için benzer arka tahmin dağılımları vardır. Gelman bunları kullanmamız gerektiğini söylüyor. Kaygıları yeterli kanıtla hafifletilecektir.

— Neil G
kaynak

Bunu bazı referanslarla yedekleyebilir misiniz?

— kjetil b halvorsen

@kjetilbhalvorsen: Murphy, Kevin P. "Gauss dağılımının eşlenik Bayesian analizi." def 1.2σ2 (2007): 16.

— Neil G

İlginç bakış açısı, bunu daha önce hiç duymamıştım. Öyleyse t-dağıtılmış hatalar t-dağıtılmış tahminlere de yol açar mı? Bu benim için bu, Gauss hatalarını kullanmaya devam etmenin lehine bir argümandır . Koşullu aykırı değerler beklemiyorsanız koşullu hata modelinin bunlara izin vermesi gerekmez. Bu, bütün dışsallığın öngörücülerin dışsal değerlerinden geldiği varsayımına dayanır. Varsayımın birçok durumda bu kadar kötü olduğunu sanmıyorum. Ve tamamen estetik gerekçelerle, koşullu ve marjinal dağılımların neden eşleşmesi

— gerektiğini anlamıyorum

@ssdecontrol "t-dağıtılmış hatalar aynı zamanda t-dağıtılmış tahminlere de yol açar mı?" Bilmiyorum, ama sanmıyorum. Benim için bu bakış açısı, t-testinin neden çalıştığını sezgisel bir şekilde anlamak için çok faydalıdır.

— Neil G,