Sadece marjinal sayımlar göz önüne alındığında, ortak dağılımın maksimum olabilirlik tahmincisi

Let $p_{x,y}$ , iki Kategorik değişkenler ortak bir dağıtım olması $X,Y$ ile, $x,y\in\{1,\ldots,K\}$ . Diyelim ki bu dağılımdan $n$ örnek alındı, ama sadece için marjinal sayımlar verildi $j=1,\ldots,K$ :

S_{j} = Σ_{ben = 1}^{n} δ (X_{ben} = l), T_{j} = Σ_{ben = 1}^{n} δ (Y_{ben} = j),

$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$

verilen için maksimum olabilirlik tahmincisi nedir ? Bu biliniyor mu? Hesaplamalı olarak uygulanabilir mi? Bu probleme ML dışında başka makul yaklaşımlar var mı? $p_{x,y}$ $S_j,T_j$

— RS
kaynak

Marjlar, ortak dağılım hakkında gerçekten bilgi * içermez (aslında bu, kopulaların noktasıdır).

$\:$ * ya da en azından neredeyse hiç - marjlar en azından bazı bilgiler içeriyor, çünkü iç mekan sayıları meydana geldikleri marjları aşamaz. Aklınızda belirli bir ortak dağıtımınız var mı? maximum-entropyEtiketi neden kullandınız ? Maksimum entropi çözümünden sonra mısınız?

— Glen_b -Manica Monica

Ben kopulalara pek aşina değilim. Kategorik durum için de geçerli mi? Bu ne anlama geliyor - aynı marjlara sahip her ortak dağıtımın aynı olasılığa sahip olacağı? (Maksimum entropiyi etiketledim çünkü alakalı olabileceğini düşündüm.)

— RS

Henüz belirli bir dağıtım modelimiz bile yok, bu yüzden gerçekten

hesaplayabilecek bir konumda değiliz . Burada çok sayıda olasılık var. Copulas, sıralı kategorik vaka için (benzersiz değilse) mevcuttur, ancak bunu yükseltme amacım, marjinallerin neden genel olarak çok bilgilendirici olmadıkları için bir motivasyon sağlamaktı. Kategorik sayım davasıyla ilgili olarak, Fisher marjları eklem hakkında bilgi vermedi, Fisher-Irwin kesin testi. Maksimum entropi istiyorsanız, muhtemelen maksimum entropi çözümü alabilirsiniz, ancak bunun hakkında çok bilgilendirici olacağını bilmiyorum ...

P (x | θ)

$P(x|\theta)$

— Glen_b -Restate Monica

(ctd) ... yapısı. ME veya ML vakalarında, bivariat multinomial, bivariate hipergeometrik veya daha fazla yapıya sahip bir şey olsun, önce bir çeşit modele ihtiyacınız olacağını düşünüyorum. Yazarın bir cevaba referans verdiği bu soruya bakın . Bu yardımcı olabilir.

— Glen_b

Genel iki değişkenli çok terimli bir dağıtım demek istedim. Soru, dağılım toplamlarının verildiği durumdan bahsediyor ve ortak dağıtımdan örnekler görüyoruz. Burada örnek toplamları var. Bence sorun ML davasında iyi tanımlanmış (çözüm benzersiz olmayabilir ama bilmiyorum).

— RS

Yanıtlar:

Bu tür bir problem Dobra ve ark. (2006) tarafından "Sabit Marjinal Toplamlarla Çok Yönlü Acil Durum Tablolarında Veri Büyütme" makalesinde incelenmiştir . Let , modelin parametrelerinin göstermek izin her biri için sayımların gözlemlenmeyen tamsayı tablosunu belirtmek çifti ve izin $\theta$ $\mathbf{n}$ $(x,y)$ marjinal sayısı eşit bir tamsayı tabloları grubu olduğu . Daha sonra marjinal sayıları gözlemleme olasılığı: $C(S,T)$ $(S,T)$ $(S,T)$ ; burada çok terimli örnekleme dağılımıdır. Bu ML için olasılık fonksiyonunu tanımlar, ancak küçük problemler dışında doğrudan değerlendirme yapılamaz. Önerdikleri yaklaşım, ve öğelerini dönüşümlü olarak güncellediğiniz

p (S, T | θ) = \underset{n \in C (S, T)}{Σ} p (n | θ)

$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$

p (n | θ)

$p(\mathbf{n} | \theta)$

n

$\mathbf{n}$

θ

$\theta$ bir teklif dağılımından örnek alarak ve Metropolis-Hastings kabul oranına göre değişikliği kabul ederek. Bu, Monte Carlo EM kullanılarak yaklaşık maksimum fazla

bulmak için uyarlanabilir .

θ

$\theta$

Farklı bir yaklaşım toplamı tahmin etmek için varyasyonel yöntemler kullanır . Marjinal kısıtlamalar bir faktör grafiği olarak kodlanabilir ve aşırı çıkarım Beklenti Yayılımı kullanılarak gerçekleştirilebilir. $\mathbf{n}$ $\theta$

Bu sorunun neden zor olduğunu ve önemsiz bir çözümü kabul etmediğini görmek için durumunu düşünün . alma $S=(1,2), T=(2,1)$ $S$ satır toplamlar gibi kolon toplamı olarak, sayımların iki olası tablolar şunlardır: $T$ Bu nedenle, olabilirlik fonksiyonu , bu sorun, The MLE olan

[\begin{matrix} 0 & 1 \\ 2 & 0 \end{matrix}] [\begin{matrix} 1 & 0 \\ 1 & 1 \end{matrix}]

$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$

p (S, T | θ) = 3 p_{12} p_{21}^{2} + 6 p_{11} p_{21} p_{22}

$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$

{\hat{p}}_{x, y} = [\begin{matrix} 0 & 1 / 3 \\ 2 / 3 & 0 \end{matrix}]

$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$ soldaki tablonun varsayılmasına karşılık gelir. Buna karşın, bağımsız olduğu varsayılarak alacağı tahmindir

bu daha düşük bir olasılık değerine sahiptir.

q_{x, y} = [\begin{matrix} 1 / 3 \\ 2 / 3 \end{matrix}] [\begin{matrix} 2 / 3 & 1 / 3 \end{matrix}] = [\begin{matrix} 2 / 9 & 1 / 9 \\ 4 / 9 & 2 / 9 \end{matrix}]

$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$

— Tom Minka
kaynak

Analitik bir çözüm elde etmek mümkün değil mi?

— Ben Kuhn

Teşekkürler! Kağıt, Bayes perspektifinden gelmesine rağmen, alakalı görünüyor. Belirli bir durum ne

aslında dağıtım kendisi, yani

, tüm

çiftleri? Bu durumda analitik bir çözüm olacağından şüphelenir misiniz?

θ

$\theta$

θ = {θ_{x, y}}

$\theta=\{\theta_{x,y}\}$

(x, y)

$(x,y)$

— RS

Analitik bir çözüm olduğundan şüphelenmem. Bunu göstermek için bir örnek ekledim.

— Tom Minka

Teşekkürler. Belki de asimptotik olarak doğrudur? Daha sonra, marj toplamları üzerinde koşullandırma, marj dağılımları üzerinde koşullandırma (normalleştirmeden sonra) ile aynıdır ve gözlemlenmeyen her tamsayı tablosu için log-olasılık entropisi ile orantılıdır. Belki de AEP ile ilgili birţey?

— RS

@ Glen_b tarafından işaret edildiği gibi, bu yetersiz bir şekilde belirtilmiştir. Olasılığı tam olarak belirleyemezseniz, maksimum olasılığı kullanabileceğinizi düşünmüyorum.

Bağımsızlığı üstlenmeye istekli olsaydınız, sorun oldukça basittir (tesadüfen, çözümün önerilen maksimum entropi çözümü olacağını düşünüyorum). Sorununuza ek yapı dayatmak istemiyorsanız veya yine de hücrelerin değerlerine bir çeşit yaklaşım istiyorsanız, Fréchet-Hoeffding kopula sınırlarını kullanabilirsiniz . Ek varsayımlar olmadan, daha fazla ilerleyebileceğinizi düşünmüyorum.

— F. Tusell
kaynak

Bunun olasılığı çok terimli olabilir. Bu neden yetersiz?

— RS

Anladığım kadarıyla, olasılık veriye verilen parametrelerin bir fonksiyonudur. Burada, her hücre için değerleriniz yok, sadece marjinaller var, bu nedenle hesaplayabileceğiniz parametrelerin tek bir işlevine sahip değilsiniz. Genel olarak, kenar boşluklarıyla uyumlu birçok hücre konfigürasyonu vardır ve her biri farklı bir olasılık verir.

— F.Tusell

p

$p$

p

$p$

$p_{x,y}$ $p_x = \sum_y p_{x,y}$ $p_y = \sum_x p_{x,y}$

Yanlış şeyler şöyle:

$p_{x, y}$ $X, Y$ $S_1 = S_2 = T_1 = T_2 = 10$

p = (\begin{array}{cc} \frac{1}{2} & 0 \\ 0 & \frac{1}{2} \end{array}), p = (\begin{array}{cc} \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \end{array})

$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$

$p_x$ $p_y$ ve bu nedenle eşit olasılıklara sahiptirler (her ikisi de doğrulayabileceğiniz gibi olasılık işlevini en üst düzeye çıkarır).

$p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$ $0 < a \le d$ $p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$ aynı marjinallere sahiptir ve bu nedenle aynı zamanda maksimum olabilirlik çözümüdür.

$X, Y$

$H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$ $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $\vec g(p) = 0$ $g_x(p) = \sum_y p_{x,y} - p_x$ $g_y(p) = \sum_x p_{x,y} - p_y$

\nabla'H (p) = \underset{k \in X \cup Y}{Σ} λ_{k} \nabla g_{k} (p)

$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$

Her tüm gradyanları $g_k$ 1'dir, bu nedenle koordinat açısından

1 - günlük p_{x, y} = λ_{x} + λ_{y} ⟹ p_{x, y} = e^{1 - λ_{x} - λ_{y}}

$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$

$\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $e^{1/2 - \lambda_x} = p_x$ $e^{1/2 - \lambda_y} = p_y$

p_{x, y} = p_{x} p_{y} .

$p_{x,y} = p_xp_y.$

— Ben Kuhn
kaynak

S_{1} = S_{2} = T_{1} = T_{2} = 10

$S_1=S_2=T_1=T_2=10$

p

$p$

[[10, 0], [0, 10]]

$[[10,0],[0,10]]$

2^{- 20}

$2^{-20}$

p

$p$

\sum_{0 \leq a \leq 10} P r [[a, 10 - a], [10 - a, a]]

$\sum_{0\le a \le 10}{Pr[[a,10-a],[10-a,a]]}$

10 \cdot 4^{- 20}

$10\cdot 4^{-20}$

Olasılıkları yanlış hesapladınız; örneğin, binom katsayılarını eklemeyi unuttunuz. Fakat iki matrisin , marjinal sayıların aynı marjinal dağılımını vermelerine rağmen, farklı marjinal sayıların ortak dağılımlarını vermesi konusunda haklısınız . (Evet!) Bunu daha çok düşüneceğim.

— Ben Kuhn