Merkez sansürlü Normal örneklerin tahmini varyansı

Normal olarak dağıtılmış, varyansı tahmin etmek için kullanmak istediğim küçük örnekleri ( n tipik olarak 10-30) aldığım işlemlerim var. Ancak sık sık numuneler birbirine çok yakındır, merkezin yakınındaki bireysel noktaları ölçemeyiz.

Bu belirsiz anlayışı, sipariş edilen örnekleri kullanarak verimli bir tahminci oluşturabilmemiz gerektiğini anlıyorum: Örneğin, numunenin 20 puan içerdiğini bildiğimde ve 10'un bireysel olarak ölçmek için merkeze çok sıkı bir şekilde kümelendiği, ancak Her iki kuyrukta da, bu tür numunelerin optimal kullanımını sağlayan proses varyansını tahmin etmek için standart / formülik bir yaklaşım var mı?

(Sadece orta ortalamayı ağırlıklandırabileceğimi düşünmüyorum. Örneğin, 7 numunenin sıkı bir şekilde kümelenmesi mümkündür, diğer üçü de asimetrik olarak bir tarafa eğimlidir, ancak daha sıkıcı tek örnekleme olmadan bunu söyleyemeyiz. .)

Cevap karmaşıksa, araştırmam gereken şeylerle ilgili herhangi bir ipucu takdir edilecektir. Örneğin, bu bir istatistiki sorun mu? Formülsel bir cevap olması muhtemel mi, yoksa bu bir hesaplama problemi mi?

Güncellenmiş detay: Uygulama çekim hedeflerinin analizidir. Altta yatan tek bir örnek, tek bir atışın hedef üzerindeki etki noktasıdır ( x, y ). Altta yatan işlem simetrik iki değişkenli normal dağılıma sahiptir, ancak eksenler arasında bir korelasyon yoktur, bu nedenle { x } ve { y } örneklerini aynı normal dağılımdan bağımsız çekimler olarak ele alabiliriz. (Altta yatan sürecin Rayleigh'e dağıtıldığını da söyleyebiliriz, ancak Rayleigh değişkenlerinin örneğini ölçemeyiz çünkü küçük n için önemli ölçüde olabilen sürecin "gerçek" merkezinin koordinatlarından emin olamayız. örnek merkezinden uzak ( , ).) $\bar{x}$ $\bar{y}$

Bize bir hedef ve ona ateş edilen atış sayısı verilir. Sorun şu ki, n >> 3 hassas toplar tipik olarak farklı atışlarla çevrili bir "yırtık delik" ateşleyecektir. Deliğin x ve y genişliğini gözlemleyebiliriz , ancak farklı çekimin delikte nerede etkilendiğini bilmiyoruz .

İşte daha sorunlu hedeflere bazı örnekler:

[N = 10 ile örnek hedef]

N = 100 ile örnek hedef

(İdeal bir dünyada, her çekimden sonra hedefleri değiştireceğiz / değiştireceğiz ve daha sonra örnekleri analiz için toplayacağız. Mümkün olduğunda yapılmasına rağmen , genellikle pratik olmayan birkaç neden var .)

WHuber'ın açıklamalardaki açıklamalarını izleyen ek notlar : Çekimler, muntazam ve bilinen çapta hedef delikler üretir. Bir atış herhangi bir "düzensiz grubun" dışında olduğunda, mermi yarıçapını biliyoruz ve böylece tam merkezini ölçebiliyoruz . Her "düzensiz grupta" bazı periferik "topları" ayırt edebilir ve yine bilinen mermi yarıçapına dayanarak bu dış çekimlerin kesin merkezini işaretleyebiliriz. Öyle kalan sadece etkiledi biliyoruz ki "merkez sansürlü" çekim bir yere (- ve gerekirse bize varsayalım - hedef başına bir genellikle) bir "düzensiz grubu" iç kısmında. $x_i$

Çözümü kolaylaştırmak için, bunu normalden bir boyutlu tek bir örneğe indirmenin en kolay olacağına inanıyorum, merkezi genişlik w > d , burada d mermi çapıdır, burada c < n "sansürlü" örnekler içerir.

normal-distribution estimation rayleigh

— feetwet
kaynak

(1) Normal dağılım bir varsayım mı yoksa bunu destekleyen iyi kanıtlarınız mı var? (2) Merkeze yakın verileri doğru bir şekilde sayamadığınız bir problem mi? (Yani olmasıdır olağan anlamı "sansür" den farklı olurdu olabilir bu verileri saymak ama onların değerlerini belirli aralıklarla içinde yalan sadece biliyoruz.)

— whuber

@whuber: Evet, sürecin normal olarak dağıtıldığı konusunda hem temel hem de ampirik kanıtlarımız var. Ve evet , toplam gruptaki noktaların tam sayısını biliyoruz ve bireysel değerleri belirlemek için çok fazla örneğin bulunduğu aralıkları gözlemleyebiliriz.

— feetwet

Teşekkürler, bu yardımcı oldu. Bununla birlikte, belirsizliğin doğası hala belirsizdir ve bunun için iyi bir model iyi bir çözümü motive edebilir. Belki bir örnek veya örnek verebilir veya en azından ölçüm sürecini biraz daha ayrıntılı olarak açıklayabilir misiniz?

— whuber

@whuber: Güncellendi. Eğer yardımcı olacaksa ben de bazı gerçek örneklere bağlantılar gönderme üzerinde çalışacağım.

— feetwet

Çok ilginç bir problem! Bence iyi bir çözüm elde etmek için yaratıcı bir düşünce gerekir. Her çekimin merkezlerini iki değişkenli Normal dağılımının bir iid örneği olarak gördüğünüzü söylemek doğru olurtahmin etmek istersiniz ; ancak gözlemleyebileceğiniz tek şey - bazı kesin olmayan - (burada , her bir merminin bilinen ortak yarıçapıdır ve , çevresinde yarıçapı topudur )?

x_{i},

$x_i,$

(μ, σ^{2})

$(\mu, \sigma^2)$

σ

$\sigma$

\cup_{i} B (x_{i}, r)

$\cup_i B(x_i, r)$

r

$r$

B (x, r)

$B(x,r)$

r

$r$

x

$x$

— whuber

Yanıtlar:

Bu ilginç bir problem. İlk olarak, normal dağılım varsayımı yapmam. Gerçekten aradığınız şey, birçok farklı atıcıya veya silahlara veya cephaneye ya da her neyse oldukça uyguladığınız bir dağılım tahmini.

Bunu tersine çevirmeye çalışırdım. 10 ayrı delik görmedikçe (10 atış olduğu varsayılırsa) tüm mermilerin nereye gittiğini tam olarak bilmiyorsunuz. Ama nereye gitmediklerini biliyorsun. Bu, bir dağıtımla başlamak istiyorsanız Bayesci istatistikleri varsayarak dağıtımı kısıtlamak için kullanılabilir.

Burada en iyi fikir, matematiksel olarak yapmaya çalışmaktan vazgeçmek ve böyle mantıklı bir şey yapmaktır. Hedefi alın ve bağlı olmayan atış alanını işaretlemek için bir görüntü işleme rutini çalıştırın. Bunun ortalama ve ikinci momentini ölçün ve bunları bir tahmin edicidir. Biraz daha ileri gitmek ve Gaussianize etmek istiyorsanız, bir kalibrasyon faktörü almak için basit monte carlo deneyi yapabilirsiniz.

— Dave31415
kaynak

Biraz daha açıklayayım. Diyelim ki 10 atışınız var ve mermilerin nereye gittiğini bildiğiniz 6 açık delik var. Önce bu noktaları alın ve Gauss genişliğini sınırlamak için kullanın. Her zamanki rutinin ardından, bu Gauss sigmasının sigmasını

— Dave31415 4:14

Şimdi, bunu yaptıktan sonra, yeni delikler açmayan 4 mermiyi düşünmek istersiniz. Mermiler bağımsız olduğu için (Gaussian sigma'da) bu yeni olasılık basitçe çoğaltılabilir. Temel olarak 4 merminin her biri için, yeni bir delik açmama olasılıklarıyla çarpmak istiyorsunuz.

— Dave31415

Monte carlo ile bunu yapmanın basit bir yolu, kısıtlanmış dağıtımınızdan bir dizi sigma çizmek ve bu sigmayı kullanmak, yeni bir delik açmama şansını hesaplamaktır. Böylece, bundan çok sayıda simüle edilmiş çekim yapın ve hangi fraksiyonun yeni delik oluşturmadığını sayın. Bu daha sonra olasılığı güncellemek için kullanılabilir. Sonra bir sonrakine geçin ve aynısını yapın. Şimdi son ihtimaliniz var.

— Dave31415

Son yorum. Pratik bir bakış açısından, sigmanın tahmini, görünmeyen mermilerin tam olarak önceki deliklerden geçtiklerini varsaydığınız sürece nereye gittiği kadar etkilenmemelidir. Genellikle kenarı tanımlayanları görebileceksiniz. Çünkü merminin merkezden uzak bir delikten iki kez geçme şansı çok düşüktür. Böylece ham bir monte carlo bile sizi en uygun tahmin ediciye çok yaklaştırır.

— Dave31415

Normal (veya başka bir) dağılım iddia etmezsek, sansür bölgesinde neler olup bittiğine bir üst veya alt sınır koymaktan daha fazlasını söyleyemeyiz. N -sansür uyguladığımız 1 boyutlu durumda varyansın alt sınırı, hepsinin ortalamaya en yakın aynı iç noktaya çarptığını ve (ortalamanın iç kısımda ortalandığı varsayılarak) bir üst sınırın sansürlenen noktaların iç mekanın çevresine eşit olarak dağıldığını varsayın. Ancak, altta yatan sürecin normal olduğunu varsayarsak, daha iyi bir şey yapabilmemiz gerekir.

— feetwet

Başka bir bakış açısından, birçoğu araç kutularına yerleştirilmiş bir dizi ölçüm oluşturan Yaratılmış İstatistik alanı ışığında görülebilir (bkz. Örneğin, https://www.google.com /url?sa=t&source=web&rct=j&ei=SG31U5j4BormsASc5IHgCw&url=http://resources.arcgis.com/en/help/main/10.1/005p/005p00000002000000.htm&cd=13&ved=0CE4QFjAM&usg=AFQjCNFw9AkAa-wo1rgNmx53eclQEIT1pA&sig2=PN4D5e6tyN65fLWhwIFOYA ).

Wikipedia (link: http://en.m.wikipedia.org/wiki/Spatial_descriptive_statistics ) aslında mekansal merkezi eğilim ve mekansal dağılım ölçüleri gibi kavramları tartışan iyi bir giriş sayfasına sahiptir. İkincisini Wikipedia'dan alıntılamak için:

"Çoğu uygulama için, uzamsal dağılım, dönüşlere ve yansımalara benzemeyen bir şekilde ölçülmelidir. Bir nokta kümesi için uzamsal dağılımın birkaç basit ölçüsü, noktaların koordinatlarının kovaryans matrisi kullanılarak tanımlanabilir. ve kovaryans matrisinin en büyük öz değeri, uzamsal dağılımın ölçüsü olarak kullanılabilir. Kovaryans matrisine dayanmayan bir uzamsal dağılım ölçüsü, en yakın komşular arasındaki ortalama mesafedir. [1] "

İlgili kavramlar, mekansal homojenlik ölçümlerini, Ripley'in K ve L fonksiyonlarını ve belki de en çok mermi kümelerinin analizini, kümelenmiş popülasyonlardaki alt popülasyonların kümelenmesi için Cuzick-Edwards testini içerir. İkinci test, mevcut bağlamda kümelenme göstermediği veya teorik bir simülasyon başına sınıflandırılan gerçek gözlemlenen hedeflere dayalı olabilen kontrol istatistikleriyle karşılaştırmaya (istatistikleri en yakın komşu "analizleri kullanarak) dayanır. Rayleigh dağılımını söyler.

— AJKOER
kaynak