Kimlik bilgisi paradoksu (en azından benim için)

Toplam (ve çok az) istatistik izinleri hakkındaki bilgim kadarıyla, ise anladım $X_1, X_2,..., X_n$ terim, birbirinden bağımsız ve özdeş dağıtılır eder sonra da, istatistiksel bağımsız rasgele değişkenlerdir.

Benim endişe burada okur iid örneklerin eski tesistir:

p (X_{n} | X_{i_{1}}, X_{i_{2}}, . . ., X_{i_{k}}) = p (X_{n}),

$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}),$

herhangi bir farklı koleksiyon için $i_j$ 'in st $1 \leq i_j < n$ .

Bununla birlikte, bağımsız dağılım gösteren aynı örneklemlerin toplamının dağılım yapısı hakkında ve yukarıdaki durumda bir sonucu olarak elde ettiği sonucuna $X_n$ varıldığı için, bu durum böyle olmamalıdır:

p (X_{n} | X_{i_{1}}, X_{i_{2}}, . . ., X_{i_{k}}) = p (X_{n}) .

$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}).$

Yanlışlık kurbanı olduğumu biliyorum ama nedenini bilmiyorum. Lütfen bu konuda bana yardım et.

sampling conditional-probability independence

— Cupitor
kaynak

Bayes kuralını biliyor musunuz? Klasikleri duydum. vs Bayesian istatistikleri? Sabıkası var mı?

— Matthew Gunn

Sorunun sonunda tartışmayı takip etmiyorum. Daha açık olabilir misin?

— Glen_b

@Glen_b Tam olarak takip etmediğiniz şey nedir? Sonunda ne demek istiyorsun? Farklı mantıklarla hem bir eşitlik hem de bir eşitsizlik gibi görünen bir paradoks olan mantıklı gözükmeye çalışıyorum.

— Cupitor

Burada paradoks yoktur - yalnızca uygun tanımları uygulayamamak. Kullandığınız kelimelerin anlamlarını göz ardı ettiğinizde bir paradoks sahibi olduğunuzu iddia edemezsiniz! Bu durumda, tanımını karşılaştıran bağımsız o kadar olasılık hatası görülür.

— whuber

@whuber, sorumun başlığında "(en azından benim için)" ve bunun argümanımın "aldatmacasını" bulmak için yardım istediğimi fark ettiğinizi varsayıyorum. Gerçekten de gerçek bir paradoks değil.

— Cupitor

Yanıtlar:

Sanırım tahmini bir dağıtım modelini rastgele değişkenlerle karıştırıyorsunuz . Aşağıdaki gibi bağımsızlık varsayımını yeniden yazılmalı: diyor sen yatan dağılımını biliyorsanız ( ve, örneğin, bir dizi parametreye göre tanımlayabilirsiniz

\begin{matrix} (1) & P (X_{n} | θ, X_{i_{1}}, X_{i_{2}}, \dots, X_{i_{k}}) = P (X_{n} | θ) \end{matrix}

$P(X_n | \theta, X_{i_1}, X_{i_2}, \dots, X_{i_k}) = P(X_n | \theta) \tag{1}$ $X_n$

θ

$\theta$ ) Bundan sonra, ondan birkaç örnek gözlemişseniz dağılım değişmez.

Örneğin, düşünmek sonucunu temsil eden rastgele değişken olarak , bir madeni para atmak inci. Olasılığını bilerek kafa ve kuyruk (btw, içinde kodlanmış varsayın madalyonun için ) dağılımını bilmek yeterlidir . Özel olarak, önceki fırlatır sonucu olasılığını değişmez baş ya da kuyruk için atmak inci, ve sahiptir. $X_n$ $n$ $\theta$ $X_n$ $n$ $(1)$

Ancak, olduğuna dikkat edin . $P(\theta | X_n) \neq P(\theta | X_{i_1}, X_{i_2}, \dots, X_{i_k})$

— SOBI
kaynak

Çok teşekkür ederim. Konuya kadar oldukça. Oldukça komik bir süre önce böyle bir cevabı tahmin ettim ama unutmuştum ... Yanlışlıkla anladığım kadarıyla, rasgele değişkenin dağılımını parametreleyebilen "bir model" varsayımıyla örtüşüyor. Doğru anladım mı?

— Cupitor

@ Hastane: Yararlı olduğuna sevindim. Evet, modele bağlı olarak, bağımsız rasgele değişkenler birbirlerini etkilemez. Ancak, belirli bir dağıtımın ne kadar muhtemel bir sonuç dizisi oluşturması muhtemeldir, temel (doğru) dağıtımdan (bağımsızlık varsayımına bakılmaksızın) daha fazla örnek gördüğünüzde değişikliklerin değişmesi.

— Sobi,

Eğer bir Bayes yaklaşımı ve dağılımını açıklayan tedavi parametrelerini ele alırsak rastgele değişkeni / vektörü olarak, daha sonra tespitler gerçekten vardır değil bağımsız ama onlar olurdu şartlı bağımsız bilgisi verilen dolayısıyla . $X$ $\theta$ $P(X_n \mid X_{n-1}, \ldots X_1, \theta) = P(X_n \mid \theta)$

Klasik istatistiksel yaklaşımda, ise rastgele değişken değildir. Hesaplamalar ne olduğunu biliyormuşuz gibi yapılır . Bir anlamda, her zaman üzerinde iklimlendirme konum (eğer değerini bilmiyorsanız bile). $\theta$ $\theta$ $\theta$

Yazarken, "... dağıtım yapısı hakkında bilgi verin ve sonucu olarak " örtülü olarak bir Bayesian yaklaşımını benimsiyordunuz, ancak bunu tam olarak yapmıyordunuz. Bir frequentist yazacağını IID örneklerinin bir özelliğini yazıyoruz, ama bir Bayes kurulumunda gelen ekstresinde klima yer alacağı . $X_n$ $\theta$

Bayesian vs. Klasik istatistikçiler

Let bir orantısız, haksız sikke saygısız sonucu. Madalyonun kafasını çıkarma olasılığını bilmiyoruz. $x_i$

Klasik istatistikçilere göre, frekansçı, bazı parametrelerdir, diyelim . Gözlemleyin burada sayı 1/3 gibi bir sayıl vardır. Numaranın ne olduğunu bilmiyor olabiliriz, ama bir rakam! Bu rastgele değil ! $P(x_i = H)$ $\theta$ $\theta$
Bayesian istatistikçiye göre, rastgele bir değişkendir! Bu son derece farklı! $\theta$

Buradaki ana fikir, Bayesçi istatistikçinin, klasik istatistikçinin olmadığı durumlara olasılık araçlarını genişlettiğidir . için , rastgele bir değişken değildir, çünkü yalnızca bir olası değere sahiptir ! Birden fazla sonuç mümkün değil! Gerçi Bayes hayalinde, çoklu değerler mümkündür ve Bayes olasılık araçları kullanarak (kendi zihninde) o belirsizliği modellemek istemektedir. $\theta$ $\theta$

Bu nereye gidiyor?

Diyelim ki parayı kere çeviririz . Bir çevirme diğerinin sonucunu etkilemez. Klasik istatistikçi bu bağımsız çeviriler olarak adlandırılır (ve gerçekte onlardır). Sahip olacağımız şeyler: Burada bazı bilinmeyen bir parametredir. (Unutma, ne olduğunu bilmiyoruz, ama rastgele bir değişken değil ! $n$

P (x_{n} = H ∣ x_{n - 1}, x_{n - 2}, \dots, x_{1}) = P (x_{n} = H) = θ

$P(x_n=H \mid x_{n-1}, x_{n-2}, \ldots,x_{1}) = P(x_n=H) = \theta$

θ

$\theta$

Sübjektif olasılığın derinliklerinde olan bir Bayesian, önemli olan şeyin perspektifinden olasılık olduğunu söyler! . Eğer üst üste 10 kafa görürse, 11. kafa daha muhtemeldir, çünkü üst üste 10 kafa, madalyonun kafa lehine kesilmiş olduğuna inanmaya yöneltir.

P (x_{11} = H ∣ x_{10} = H, x_{9} = H, \dots, x_{1} = H) > P (x_{1} = H)

$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H) > P(x_1 = H)$

Burada ne oldu? Farklı olan nedir?! Gizli rasgele değişken hakkındaki inançların güncellenmesi ! Eğer rastgele bir değişken olarak değerlendirilirse, klipler artık bağımsız değildir. Ancak, değeri göz önüne alındığında , çeviriler şartlı olarak bağımsızdır . $\theta$ $\theta$ $\theta$

P (x_{11} = H ∣ x_{10} = H, x_{9} = H, \dots, x_{1} = H, θ) = P (x_{1} = H ∣ θ) = θ

$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H, \theta) = P(x_1 = H \mid \theta) = \theta$

üzerinde koşullanma bir anlamda Bayesyen ve klasik istatistikçilerin sorunu nasıl modellediğini gösterir. Ya da başka bir deyişle için frequentist ve Bayes istatistikçi kabul edecektir üzerinde Bayes koşullar eğer . $\theta$ $\theta$

Ek notlar

Burada kısa bir intro vermek için elimden geleni yaptım, ama yaptığım şey en yüzeysel ve kavramlar bir anlamda oldukça derin. Olasılık felsefesine dalmak istiyorsanız, Savage 1954 kitabı, İstatistik Vakfı . Google, bayesian ve sık sık yorum yapanlar için bir sürü şey ortaya çıkacak.

IID'yi düşünmenin bir başka yolu de Finetti'nin teoremi ve değiş tokuş edilebilirlik kavramıdır . Bayesian bir çerçevede, değişebilirlik bazı gizli rastgele değişkenlere bağlı olan bağımsızlığa eşittir (bu durumda madalyonun durgunluğu).

— Matthew Gunn
kaynak

Temelde, bayes yaklaşımı "rastgele değişkenleri koyma" ifadesini IID olması gerektiği gibi bir aksiyom olarak değil, aynı zamanda oldukları kadar güçlü bir varsayım kadar - ve daha güçlü bir delil verilmişse, bunun son derece düşük bir ihtimal olduğunu öne sürerse varsayımlar doğruysa, o zaman bu "verilen koşullardaki inançsızlık" sonuçlara yansıyacaktır.

— Peteris

Tam cevabınız için çok teşekkür ederim. Ben bunu abarttım, ama sanırım Sobi'nin cevabı, sorunun nerede olduğunu açıkça ortaya koyduğunu, yani model yapısını (yani, anladığım kadarıyla)

— açıkça ima ettiğini

@Matthew Gunn: Düzgün, titiz ve çok iyi açıklanmış! Cevabınızdan birkaç şey öğrendim, teşekkürler!

— Sobi,