Student t dağılımının tahmin parametreleri

23

Student t dağılımının parametreleri için maksimum olabilirlik tahmin ediciler nelerdir? Kapalı formda varlar mı? Hızlı bir Google araması bana sonuç vermedi.

Bugün tek değişkenli durumla ilgileniyorum, ancak muhtemelen modeli çoklu boyutlara genişletmek zorunda kalacağım.

EDIT: Aslında çoğunlukla yer ve ölçek parametreleriyle ilgileniyorum. Şimdilik serbestlik derecesi parametresinin sabit olduğunu varsayabilir ve daha sonra en uygun değeri bulmak için muhtemelen bazı sayısal şemalar kullanabilirim.

estimation maximum-likelihood t-distribution

— Grzenio
kaynak

Bildiğim kadarıyla kapalı biçimde yoklar. Degrade çıkış tipi bir yaklaşım gerekebilir.

— Pat

Student t dağılımının tek bir parametresi olmasına rağmen, çoğulda "parametrelere" bakın. Belki konum ve / veya ölçek parametrelerini dahil ediyor musunuz?

— whuber

@whuber, yorum için teşekkürler, gerçekten serbestlik derecelerinden çok, konum ve ölçek parametreleriyle ilgileniyorum.

— Grzenio

İle verileri, konum parametresi için olabilirlik denklemi derecesi bir polinom cebirsel olarak eşdeğerdir . "Kapalı formda" verilecek böyle bir polinomun sıfır olduğunu düşünüyor musunuz?

n

$n$

2 n - 1

$2n-1$

— whuber

@whuber, küçük n için özel durumlar var mı, örneğin n = 3?

— Grzenio

27

T için kapalı form yoktur, ancak çok sezgisel ve kararlı bir yaklaşım EM algoritmasıdır. Artık öğrenci normal bir ölçek karışımı olduğu için modelinizi şu şekilde yazabilirsiniz.

y_{ben} = μ + e_{ben}

$y_i=\mu+e_i$

burada ve . Bu, şartlı olarak , , sadece ağırlıklı ortalama ve standart sapma olduğu anlamına gelir. Bu "M" adımıdır $e_i|\sigma,w_i \sim N(0,\sigma^2w_i^{-1})$ $w_i\sim Ga(\frac{\nu}{2}, \frac{\nu}{2})$ $w_i$

\hat{μ} = \frac{\underset{ben}{Σ} w_{ben} y_{ben}}{\underset{ben}{Σ} w_{ben}}

$\hat{\mu}=\frac{\sum_iw_iy_i}{ \sum_iw_i}$

{\hat{σ}}^{2} = \frac{\underset{ben}{Σ} w_{ben} (y_{ben} - \hat{μ})^{2}}{n}

$\hat{\sigma}^2= \frac{\sum_iw_i(y_i-\hat{\mu})^2}{n}$

Şimdi "E" adımı yerine tüm verileri verdiği beklentisiyle değiştiriyor . Bu şöyle verilir: $w_i$

{\hat{w}}_{ben} = \frac{(ν + 1) σ^{2}}{ν σ^{2} + (y_{ben} - μ)^{2}}

$\hat{w}_i=\frac{(\nu+1) \sigma^2 }{\nu \sigma^2 +(y_i-\mu)^2}$

bu yüzden yukarıdaki iki adımı yineleyerek her denklemin “sağ tarafını” mevcut parametre tahminleriyle değiştirirsiniz.

Büyük artıklar gözlemler konum hesaplama daha az ağırlık alma gibi bu çok kolay bir T dağılımı sağlamlığı özelliklerini göstermektedir hesaplanmasında ve sınırlı etkisi . "Sınırlı etki" ile , bu gözlemden için yapılan tahminin katkısının verilen bir eşiği geçemediği anlamına gelir (bu EM algoritmasında ). Ayrıca , artan (azalan) , daha fazla (daha az) eşit ağırlık ve dolayısıyla daha fazla (daha az) aykırı hassasiyet ile sonuçlanacak şekilde bir "sağlamlık" parametresidir . $\mu$ $\sigma^2$ $\sigma^2$ $(\nu+1)\sigma^2_{old}$ $\nu$ $\nu$

Unutulmaması gereken bir şey, günlük olabilirlik işlevinin birden fazla durağan noktaya sahip olabileceğidir, bu nedenle EM algoritması global bir mod yerine yerel bir moda dönüşebilir. Yerel modlar, konum parametresi bir denetleyiciye çok yakın başlatıldığında ortaya çıkar. Yani ortancadan başlamak, bundan kaçınmak için iyi bir yoldur.

— probabilityislogic
kaynak

1

Bu harika. Öğrencinin bir süredir EM kullanması fikrini, tam bir Gauss karışımı gibi görünmesinin nedeni olarak kullanmaktayım. Verdiğiniz güncelleme denklemleri için bir alıntı / referans var mı? Buna sahip olmak, bu gönderinin doğruluğunu daha da artıracaktır.

— Pat,

Aslında sanırım kendimi buldum, öğrenci t 'lerin bir karışım modeli için (ki bu şeyler için kullanacağım): Öğrenci t-dağılımlarının katı bir kayıt için sağlam bir çerçeve olarak kullandığı karışımlar. Demetrios Gerogiannis, Christophoros Nikou, Aristidis Likas. Görüntü ve Vizyon Hesaplama 27 (2009) 1285–1294.

— Pat,

Cevabım link bu soruya yükleri ve yük olabilirlik fonksiyonları için çok genel EM çerçevesine sahiptir - bir dağılım, öğrenci, lojistik ve genel gerileme yok. Spesifik bir örnek, değişkenler olmadan "regresyon" dır - yalnızca engelleme - bu çerçeveye iyi uyum sağlar. Ayrıca, bu çerçeveye dahil edebileceğiniz çok sayıda ceza terimi vardır.

— probabilityislogic

@probabilityislogic gerçekten çok temiz! Peki ya da bilinmiyorsa? Lütfen biraz referans verebilir misiniz? Belki de burada en iyisi: stats.stackexchange.com/questions/87405/…

ν

$\nu$

— Quartz

Bence bu referans @ Pat'den daha iyi. 'EM VE YARARLARI, ECM VE ECME'Yİ KULLANARAK DAĞILIMIN ML TAHMİNİ Yerel-optimum sorun nedeniyle EM algoritmasını çalıştırırken ilk parametre değerinin seçiminde çok dikkatli olmalısınız. Başka bir deyişle, verileriniz hakkında bir şeyler bilmek zorundasınız. Genellikle, araştırmamda t dağılımını kullanmaktan kaçınırım.

4

Aşağıdaki makale tam olarak gönderdiğiniz sorunu ele almaktadır.

Liu C. ve Rubin DB 1995. "EM ve uzantıları, ECM ve ECME kullanılarak t dağılımının ML tahmini." Statistica Sinica 5: 19–39.

Özgürlük derecesi bilgisi olsun veya olmasın genel bir çok değişkenli t-dağılım parametresi tahmini sağlar. Prosedür Bölüm 4'te bulunabilir ve 1-boyut için olasılık olasılığına çok benzer.

— mitchshih
kaynak

7

Bahsettiğiniz makale soruya yararlı bir cevap içeriyor gibi geliyor, ancak cevaplar bağımsız olduklarında ve dışarıdaki kaynakları gerektirmediklerinde daha iyi yanıt veriyorlar (örneğin, OP veya okuyucular bu makaleye erişemiyor olabilir. ). Daha bağımsız hale getirmek için cevabınızı biraz parçalayabilir misiniz?

— Patrick Coulombe

3

\frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} {(1 + \frac{t^{2}}{ν})}^{- \frac{ν + 1}{2}} = \frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} \exp {[\ln (1 + \frac{t^{2}}{ν})] [- \frac{ν + 1}{2}]}

$\frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \left(1+\frac{t^2}{\nu} \right)^{-\frac{\nu+1}{2}} = \frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \exp \left \{ \left [ \ln \left(1+\frac{t^2}{\nu} \right) \right ] \left [ {-\frac{\nu+1}{2}} \right ]\right \}$

ν

$\nu$

n

$n$

n

$n$

ν \to \infty

$\nu \rightarrow \infty$

— Lucozade
kaynak

1

Gauss ayarında bile log olasılığı, parametrelerinde :-) doğrusal değildir.

— whuber

Aslında, serbestlik derecelerinden çok, yer ve ölçek parametreleriyle ilgileniyorum. Lütfen sorunun düzenlemesine bakın ve kesin olmadığı için özür dilerim.

— Grzenio

2

Kısa süre önce Öğrenci dağılımının ölçeği için kapalı formlu bir tahminci buldum. Bildiğim kadarıyla, bu yeni bir katkı, ancak ilgili sonuçları öneren yorumlarınızı memnuniyetle karşılarım. Bu makale, yöntemi "birleşik üstel" dağılımlar ailesi bağlamında açıklar. Öğrenci t, birleşme teriminin serbestlik derecesinin karşılığını aldığı “Bağlantılı Gauss” olarak adlandırılır. Kapalı form istatistiği örneklerin geometrik ortalamasıdır. Birleşimin veya serbestlik derecesinin bir değerini varsayarak, ölçeğin bir tahmini, numunelerin geometrik ortalamasını birleştirme ve bir harmonik sayı içeren bir fonksiyonla çarparak belirlenir.

https://arxiv.org/abs/1804.03989 Geometrik ortalamanın birleştirilmiş Gauss dağılımları ölçeği için bir istatistik olarak kullanılması, Kenric P. Nelson, Mark A. Kon, Sabir R. Umarov

— Kenric
kaynak