Multinomiyalin asimptotik dağılımı

10

Multinom dağılımının d sonuçları üzerindeki sınırlayıcı dağılımını arıyorum. IE, aşağıdakilerin dağıtımı

lim_{n \to \infty} n^{- \frac{1}{2}} X_{n}

$\lim_{n\to \infty} n^{-\frac{1}{2}} \mathbf{X_n}$

Burada yoğunluğu olan bir vektör değeri rasgele değişkendir için şekilde , ve Diğer tüm için 0 , burada $\mathbf{X_n}$ $f_n(\mathbf{x})$ $\mathbf{x}$ $\sum_i x_i=n$ $x_i\in \mathbb{Z}, x_i\ge 0$ $\mathbf{x}$

f_{n} (x) = n! \prod_{i = 1}^{d} \frac{p_{i}^{x_{i}}}{x_{i}!}

$f_{n}(\mathbf{x})=n!\prod_{i=1}^d\frac{p_i^{x_i}}{x_i!}$

Larry Wasserman'ın "Tüm İstatistikler" Teoremi 14.6, sayfa 237'de bir form buldum, ancak dağılımı sınırlamak için Normal'e tekil bir kovaryans matrisi veriyor, bu yüzden bunu nasıl normalleştireceğimden emin değilim. Kovaryans matrisini tam rütbe yapmak için rastgele vektörü (d-1) boyutlu uzaya yansıtabilirsiniz, ancak hangi projeksiyonu kullanmalısınız?

Güncelleme 11/5

Ray Koopman, tekil Gaussian sorununun güzel bir özetine sahiptir . Temel olarak, tekil kovaryans matrisi, bir Gaussian ile temsil edilmesi mümkün olmayan değişkenler arasında mükemmel bir korelasyonu temsil eder. Bununla birlikte, rasgele vektörün değerinin geçerli olması koşuluyla koşullu koşullu yoğunluk için bir Gauss dağılımı elde edilebilir (bileşenler yukarıdaki durumda kadar eklenir ). $n$

Koşullu Gaussian için fark, tersin yerine yalancı tersin kullanılması ve normalizasyon faktörünün "tüm özdeğerlerin ürünü" yerine "sıfır olmayan özdeğerlerin ürünü" kullanmasıdır. Ian Frisce bazı detaylarla bağlantı kurar.

Ayrıca özdeğerlere başvurmadan koşullu Gauss'un normalleşme faktörünü ifade etmenin bir yolu da var, işte bir türev

asymptotics multinomial

— Yaroslav Bulatov
kaynak

Bu durumda dağılımı sınırlayarak tam olarak ne demek istiyorsun?

— Robby McKilliam

yani, Merkezi Limit Teoreminden aldığınız, detayları güncelleyeyim

— Yaroslav Bulatov

1

Bahsettiğiniz şey , bir multinomialın maksimum olabilirlik tahmincisinin asimptotik dağılımıdır . Ayrıca, ilk denklem n ^ {- 1/2} değil n ^ {- 1} olmalıdır.

— Simon Byrne

1

Yukarıdaki gösterimde, d = 2 için X_n, n jeton atıldıktan sonraki kafa sayısıdır, bu nedenle X_n / n yerine Normal'e yaklaşan X_n / sqrt (n) değil mi?

— Yaroslav Bulatov

1

Evet haklısın. Sadece kendimi karıştırıyordum.

— Simon Byrne

6

Kovaryans hala negatif olmayan tanımlayıcıdır (geçerli bir çok değişkenli normal dağılımdır ), ancak pozitif tanımlayıcı değildir : bunun anlamı, rastgele vektörün (en azından) bir elemanının diğerlerinin doğrusal bir kombinasyonudur.

Sonuç olarak, bu dağılımdan herhangi beraberlik her zaman bir altuzaydan yatacak . Sonuç olarak, bu, bir yoğunluk fonksiyonunun tanımlanmasının mümkün olmadığı anlamına gelir (dağılım alt alana yoğunlaştığından: varyans sıfır ise, tek değişkenli bir normalin ortalamaya nasıl konsantre olacağını düşünün). $R^d$

Bununla birlikte, Robby McKilliam tarafından önerildiği gibi, bu durumda rastgele vektörün son elemanını düşürebilirsiniz. Bu indirgenmiş vektörün kovaryans matrisi orijinal matris olacak, son sütun ve satır düştü, şimdi pozitif kesin olacak ve bir yoğunluğa sahip olacak (bu hile diğer durumlarda çalışacak, ancak hangi öğeye dikkat etmelisiniz) düşürürsünüz ve birden fazla düşürmeniz gerekebilir).

— Simon Byrne
kaynak

Biraz tatmin edici olmayan, seçim özgürlüğüdür, geçerli bir yoğunluk elde etmek için, A'nın bazı d-1 sıra (d) x (d-1) matris olduğu A x dağılımını istemem gerekir. Sonlu n için CLT yaklaşım hatası tüm A seçimleri için eşdeğer olacak mı? Bu benim için açık değil

— Yaroslav Bulatov

1

Evet, hata her zaman aynı olmalıdır. Vektörün son elemanının fonksiyonel olarak diğer (d-1) elemanlara bağlı olduğunu unutmayın (hem sonlu örnekte hem de asimtotik durumlarda).

— Simon Byrne

`` Son '' elementin bağımlı olması değil, Yaroslav'ın problemi, hangi elementin düşeceğini seçme fikrinden hoşlanmamasıdır. Verdiğiniz yanıta katılıyorum, ancak burada biraz daha fazla düşünce ve özen gerektiğini düşünüyorum.

— Robby McKilliam

@Yaroslav: Belki de burada aklınızdaki uygulama hakkında bir fikriniz olması iyi olur, çünkü bu aşamada sorunuzun potansiyel olarak birçok yanıtı vardır.

— Robby McKilliam

1

Robby - aklımdaki uygulama burada mathoverflow.net/questions/37582/… Temelde CLT tarafından önerilen Gauss integralleri binom katsayılarının toplamına son derece iyi bir yaklaşım veriyor (küçük n için, doğrudan Gamma temsilini entegre etmekten daha iyi!), Bu yüzden, çeşitli tesisatçılar için asimptotik olmayan hata sınırları (örneğin, maksimum olasılık) için asimtotik olmayan hata sınırları almam gereken çokuluslu katsayıların toplamlarını elde etmek için benzer bir şey yapıp yapamayacağımı görüyordum

— Yaroslav Bulatov

2

Burada tekil kovaryans ile ilgili doğal bir sorun yoktur. Asimptotik dağılımınız tekil normaldir. Tekil normalin yoğunluğunu veren http://fedc.wiwi.hu-berlin.de/xplore/tutorials/mvahtmlnode34.html adresine bakın .

— Ian Fiske
kaynak

Teknik olarak, sorun, tekil kovaryans matrisinin, bazı değişken alt kümelerinin mükemmel bir şekilde korele olduğu anlamına gelir, bu nedenle bazı bölgelerde olasılık yoğunluğu tam olarak 0 olmalıdır, ancak bu bir Gaussian ile mümkün değildir. Bunun yerine bir çözüm, rastgele değişkenin uygulanabilir bir bölgede yer alması koşuluyla koşullu yoğunluğa bakmaktır. Bu, bağlantıda ne yaptıklarına benziyor. "G- ters" terimini hiç duymadım, sanırım Penrose-Moore yalancı ters mi?

— Yaroslav Bulatov

Geleneksel bir d-boyutlu Gaussian'ın

hepsine destek verdiği doğru olsa da , tekil Gaussian'ın desteklemediği doğrudur . G-invers genelleştirilmiş ters ve evet, Penrose-Moore tanımının burada çalıştığına inanıyorum. Tek bir kovaryans için bir CLT var, beklendiği gibi belirterek, tekil CLT'ye dağılımda yakınsama var, ancak şu anda bir ref bulamıyorum.

ℜ^{d}

$\Re^d$

— Ian Fiske

1

Bana Wasserman'ın kovaryans matrisi tekil gibi görünüyor, görmek için olan bir vektörle çarp, yani uzunluk . $d$ $[1,1,1,\dots,1]^\prime$ $d$

Wikipedia yine de aynı kovaryans matrisini veriyor. Kendimizi sadece bir binom dağılımıyla sınırlarsak, standart merkezi limit teoremi bize binom dağılımının (uygun ölçeklemeden sonra) büyüdükçe normale yaklaştığını söyler ( tekrar wikipedia'ya bakın ). Benzer fikirleri uygulayarak, uygun şekilde ölçeklenmiş bir mulinomiyalin çok değişkenli normale göre dağılımda birleşeceğini gösterebilmelisiniz, yani her marjinal dağılım sadece bir binomdur ve normal dağılıma yaklaşır ve aralarındaki fark bilinir. $n$

Yani, dağılımını bulacağınızdan eminim , sıfır ortalama ve kovaryansile çok değişkenli normal değere yaklaşır

\frac{X_{n} - n p}{\sqrt{n}}

$\frac{X_n - np}{\sqrt{n}}$

burada

söz ve multinomial kovaryans matrisidir

olasılıklarının vektörüdür

.

\frac{C}{n}

$\frac{C}{n}$

C

$C$

p

$p$

[p_{1}, \dots, p_{d}]

$[p_1,\dots,p_d]$

— Robby McKilliam
kaynak

1

ama söz konusu multinomyal kovaryans matrisi tekil, kendiniz gösterdiniz ...

— Yaroslav Bulatov

d

$d$

C

$C$

[p_{1}, p_{2}, \dots, p_{d - 1}]

$[p_1,p_2,\dots,p_{d-1}]$

Bulduğum bir öneri hala bir Gauss kullanmak, ancak determinant yerine ters ve "sıfır olmayan özdeğerlerin ürünü" yerine sahte ters kullanmaktır. D = 2 için bu doğru yoğunluk formunu veriyor gibi görünüyor, ancak normalleştirme faktörü kapalı

— Yaroslav Bulatov

1

$|S_{-i}|=|S_{-j}|$ $i,j$ $S_{-i}$ $i$

— jvdillon
kaynak

Bu matrisler eşit değildir, işte kovaryans matrisi yaroslavvb.com/upload/multinomial-covariance-matrix.png

— Yaroslav Bulatov

Evet, bu gerçekten kovaryans matrisi. Herhangi bir sütun ve satır bırakmak Gaussian için aynı normalleştirme terimi ile sonuçlanır. Belki de bariz bir şeyi özlüyorum?

— jvdillon

n

$n$

Muhtemelen kendinizi ikna etmenin en kolay yolu

p_{i} = 1 - \sum_{j \neq i} p_{j}

$p_i=1-\sum_{j\ne i}p_j$

p_{i}

$p_i$

S

$S$

BTW, bu fikri uygulamanızı beğendim - dolayısıyla yanıtlamaya olan ilgim.

— jvdillon