Çoklu sansürlü veriler için kovaryans matrisinin kısaltılmamış tahmini

Çevresel numunelerin kimyasal analizleri genellikle raporlama limitlerinde veya çeşitli tespit / ölçüm limitlerinde aşağıda sansürlenir. Sonuncusu, genellikle diğer değişkenlerin değerleriyle orantılı olarak değişebilir. Örneğin, yüksek konsantrasyonda bir bileşik içeren bir numunenin analiz için seyreltilmesi gerekebilir, bu durumda aynı numunede aynı anda analiz edilen tüm diğer bileşikler için sansür limitlerinin orantılı olarak şişirilmesiyle sonuçlanabilir. Başka bir örnek olarak, bazen bir bileşiğin varlığı, testin diğer bileşiklere tepkisini değiştirebilir (bir "matris girişimi"); Bu, laboratuvar tarafından tespit edildiğinde, raporlama limitlerini buna göre şişirir.

Bu tür veri kümeleri için varyans-kovaryans matrisinin tamamını tahmin etmenin pratik bir yolunu arıyorum, özellikle de bileşiklerin çoğu% 50'den fazla sansür uyguladı, ki bu genellikle böyledir. Geleneksel bir dağıtım modeli (gerçek) konsantrasyonların logaritmalarının multinormal şekilde dağılmış olması ve bunun pratikte iyi bir şekilde göründüğü şeklindedir, bu nedenle bu durum için bir çözüm yararlı olacaktır.

("Pratik" ile, R, Python, SAS, vb. Gibi en az bir genel olarak kullanılabilir yazılım ortamında, birden fazla hesaplamada tekrarlanan yeniden hesaplamaları desteklemek için yeterince hızlı bir şekilde yürütebilecek şekilde güvenilir bir şekilde kodlanabilen bir yöntem anlamına gelir. ve bu durum oldukça istikrarlıdır (bu nedenle genel olarak Bayesian çözümleri açık olmasına rağmen, bir BUGS uygulamasını keşfetmek konusunda isteksizim.)

Bu konudaki düşünceleriniz için şimdiden çok teşekkürler.

Matris girişimi sorununu içselleştirmedim ama işte bir yaklaşım. edelim:

seyreltilmemiş numunedeki tüm hedef bileşiklerin konsantrasyonunu temsil eden bir vektör olabilir.$Y$

$Z$

$d$$d$

Bizim modelimiz:

$Y \sim N(\mu,\Sigma)$

$Z = \frac{Y}{d} + \epsilon$

$\epsilon \sim N(0,\sigma^2\ I)$

Bu nedenle, şöyle:

$Z \sim N(\frac{\mu}{d}, \Sigma + \sigma^2\ I)$

$Z$$f_Z(.)$

$O$$\tau$$i^{th}$

$O_i = Z_i I(Z_i > \tau) + 0 I(Z_i \le \tau)$

$k$

$L(O_1, ... O_k, O_{k+1},...O_n |- ) = [\prod_{i=1}^{i=k}{Pr(Z_i \le \tau)}] [\prod_{i=k+1}^{i=n}{f(O_i |-)}]$

nerede

$f(O_i |-) = \int_{j\neq i}{f_Z(O_i|-) I(O_i > \tau)}$

Tahmin o zaman ya maksimum olasılık ya da bayesçi fikirleri kullanmaktan ibarettir. Yukarıdakilerin ne kadar izlenebilir olduğundan emin değilim ama umarım size bazı fikirler verir.

Daha hesaplamalı olarak etkin olan bir başka seçenek de, kochiance matrisine, "sadece Gaussian copula modeli" olan "dikloize edilmiş Gaussian" adı verilen bir model kullanarak eşleştirme yaparak anında eşleşmesi olacaktır.

Macke ve ark 2010'dan yeni bir makale , sadece (sansürlü) ampirik kovaryans matrisini ve bazı iki değişkenli normal olasılıkların hesaplanmasını içeren bu modele uydurmak için kapalı bir prosedür tanımlamaktadır. Aynı grup (MPI Tuebingen’deki Bethge laboratuvarı) ayrıca muhtemelen burada istediğiniz melez ayrık / sürekli Gauss modellerini tanımladı (yani, Gauss RV'leri tamamen “dikotomize olmadığından - yalnızca eşiğin altındakiler).

Kritik olarak, bu bir ML tahmincisi değil ve korkarım önyargı özelliklerinin ne olduğunu bilmiyorum.

Örnekte kaç tane bileşik var? (Veya, söz konusu kovaryans matrisi ne kadar büyük?).

Alan Genz, çok değişkenli normal yoğunlukların hiper-dikdörtgenler üzerindeki integrallerini hesaplamak için çeşitli dillerde (R, Matlab, Fortran; buraya bakınız ) çok güzel bir koda sahiptir (örneğin, olasılığını değerlendirmek için ihtiyacınız olan entegral türleri user28).

Bu işlevleri ("ADAPT" ve "QSIMVN") yaklaşık 10-12 boyuta kadar integraller için kullandım ve bu sayfadaki birçok işlev, 100 boyutuna kadar olan problemler için integralleri (ve ihtiyaç duyabileceğiniz ilgili türevleri) tanıtır. Amaçlarınız için yeterli boyut olup olmadığını bilmiyorum, ama eğer öyleyse, muhtemelen gradyan yükselişi ile maksimum olasılık tahminleri bulmanıza da izin verebilir.