Tipik set kavramı

15

I, tipik küme kavramı oldukça basit olduğu düşünülmektedir: uzunlukta bir sekans , tipik grubu ait olacaktır gelen dizisinin olasılığı yüksek olması durumunda. Bu nedenle, olası herhangi bir sekans . (Entropi ile ilgili biçimsel tanımdan kaçıyorum çünkü kalitatif olarak anlamaya çalışıyorum.) $n$ $A_\epsilon ^{(n)}$ $A_\epsilon ^{(n)}$

Ancak, genel olarak, en olası dizinin tipik kümeye ait olmadığını okudum. Bu beni çok şaşırttı.

Tipik kümenin sezgisel bir tanımı var mı? Yoksa sadece sağduyu ile ilgisi olmayan matematiksel bir araç mı?

entropy intuition information-theory

— Tendero
kaynak

13

Açıkça sezgisel bir açıklama istediğini ve resmi tanımı dışarıda bıraktığınızı biliyorum, ancak bunların oldukça ilgili olduğunu düşünüyorum, bu yüzden tipik set tanımını hatırlamama izin verin:

$X_1, X_2 ,...$ olan iid rastgele değişkenler daha sonra tipik bir seti, göre sekansları setidir özelliği ile , sabit bir söz konusu bu araçlar , tipik bir seti, olan olasılıklar vardır tüm sekanslar oluşmaktadır yakın için . Bu nedenle, bir dizinin tipik kümeye ait olması için, sadece yakın bir olasılık olması gerekir $\sim$ $p(x)$ $A_\epsilon^{(n)}$ $p(x)$ $(x_1,x_2,...,x_n) \in \chi^n$

\begin{matrix} (1) & 2^{- n (H (X) + ϵ)} \leq p (x_{1}, x_{2}, . . ., x_{n}) \leq 2^{- n (H (X) - ϵ)} \end{matrix}

$2^{-n(H(X)+\epsilon)}\le p(x_1,x_2,...,x_n) \le 2^{-n(H(X)-\epsilon)} \tag{1}$

ϵ

$\epsilon$

2^{- n H (X)}

$2^{-nH(X)}$

2^{- n H (X)}

$2^{-nH(X)}$ , genellikle değil. Neden anlamak için, beni uygulayarak denklemi 1 tekrar yazalım

l o g_{2}

$log_2$ Üzerinde.

\begin{matrix} (2) & H (X) - ϵ \leq \frac{1}{n} \log_{2} (\frac{1}{p (x_{1}, x_{2}, . . ., x_{n})}) \leq H (X) + ϵ \end{matrix}

$H(X)-\epsilon\le \frac{1}{n}\log_2\left(\frac{1}{p(x_1,x_2,...,x_n)}\right) \le H(X)+\epsilon \tag{2}$

Şimdi tipik küme tanımı, entropi kavramı ile daha doğrudan ilişkilidir veya başka bir şekilde, rastgele değişkenin ortalama bilgisini ifade eder. Orta terim, dizinin örnek entropisi olarak düşünülebilir, bu nedenle tipik küme, rastgele değişken $X$ ortalama bilgisine yakın bir miktar bilgi veren tüm diziler tarafından yapılır . En olası dizi genellikle bize ortalamadan daha az bilgi verir. Unutmayın, sonuç olasılığı ne kadar düşükse, bize verdiği bilgi de o kadar yüksek olacaktır. Neden bir örnek vereyim ki:

Diyelim ki havanın güneşli ve sıcak olması muhtemel, 24 ° C ile 26 ° C arasında bir şehirde yaşıyoruz. Her sabah hava raporunu izleyebilirsiniz ama çok fazla umursamazsınız, yani her zaman güneşli ve sıcak. Ama ya bir gün hava erkek / kadın bugün yağmurlu ve soğuk olacağını söylüyorsa, bu bir oyun değiştirici. Bazı farklı kıyafetler kullanmanız ve bir şemsiye almanız ve genellikle yapmadığınız diğer şeyleri yapmanız gerekecek, bu yüzden hava durumu adamı size gerçekten önemli bir bilgi verdi.

Özetle, tipik kümenin sezgisel tanımı, bize kaynağın beklenen birine (rastgele değişken) yakın miktarda bilgi veren dizilerden oluşmasıdır.

— diegobatt
kaynak

1

... ya da daha doğrusu $$H(X)-\epsilon\le \frac{1}{n}log_2(\frac{1}{p(x_1,x_2,...,x_n)}) \le H(X)+\epsilon \tag{2}$$...

— Cbhihe

Tamam, ama bu şekilde tanımlanan tipik setin amacı nedir? Daha önce "%" (1 - \ eps) vakalarını "kapladığımızdan emin olmak için almamız gereken sekansların KÜÇÜK alt kümesinin bir sezgisine sahip olmak için tipik bir set kavramı oluşturduğumu düşünmüştüm. Bu şekilde, en olası diziyi almak bariz bir seçimdir. Neyi kaçırıyorum?

— tomwesolowski

12

Diegobatt'ın cevabı , tipik setin ne olduğunu sezgisel olarak açıklamak için iyi bir iş çıkarır . Bu cevap, OP'nin @tomwesolowski tarafından yansıtılan diğer sorusunu ele alacaktır: tipik seti neden en olası öğeleri hariç tutacak şekilde tanımlasınız?

Kısa cevap, tipik kümenin öncelikle bir matematik aracı olmasıdır. Bir şeyi kanıtlamaya yardımcı olmak için tanımlandı ve bu tanım kanıt için en uygun olanıdır. Teorik ihtiyaçların bazen matematikte sezgisel tercihleri nasıl karşılayabileceğinin iyi bir örneğidir.

Tipik seti babası tarafından tanımlandı bilgi teorisi , Claude Shannon . Her bir sembolün bir miktar dağıtımdan rastgele bir örnek olduğu varsayılarak, birinin sabit bir alfabeden bir sembol akışını ne kadar verimli bir şekilde kodlayabileceğini belirlemek istedi . Temel görüşleri şunlardı:

Akışta orantısız olarak sık görülen, kolayca tanımlanabilen, nispeten küçük bir "tipik" dizi vardır.
Bu "tipik dizi" dizisini atadığınızda en kısa kodlamalar, optimal olarak verimli bir kodlama sağlar (akışın çıktısı keyfi olarak uzadıkça asimptotik olarak).

Shannon'un keşfettiği tipik küme tam olarak, öz-bilgisi ya da "şaşırtıcılık", akışın kaynak dağılımı için ortalama olarak beklenen öz-bilgiyle hemen hemen aynı olan dizilerden oluşur . Bu sekanslar, bilgilerinin ortalama ile ilgili olduğu anlamında "tipiktir", ancak bu tanım, ortalamadan önemli ölçüde daha az bilgiye sahip olan sekansları dolaylı olarak hariç tutar. Bu daha az bilgilendirici diziler de en olası dizilerdir.

OP'nin belirttiği gibi, bu sezgisel olarak çekici değil! Yüzünde, tipik set, bir eşik değerine kadar en olası tüm dizileri içermesi gerektiği gibi geliyor. Bu, akışta tipik olarak görülenleri daha iyi temsil eder.

Ancak Shannon en "tipik" olası tipik seti istemiyordu; kanıtlamak istediği sonucu kanıtlamayı kolaylaştıran bir tane istiyordu. Shannon tarafından tanımlanan tipik setin var olması garanti edilir, küçük olması garanti edilir ve bu cevabın işaret ettiği gibi önerebileceğiniz diğer setler kadar küçük olması garanti edilir . En olası öğeleri eklemek seti daha olası hale getirir, bu da iyidir, ancak seti daha da büyütür, bu da kötüdür. Önem verdiğiniz tek şey kanıtınızın yapılmasını sağlamaksa, neden kırılmayan şeyi düzeltmelisiniz?

Shannon'dan farklı hedefleriniz varsa, tercih ettiğiniz tipiklik kavramı da farklı olabilir. Örneğin, Huffman kodlamasında , en olası semboller (veya sembol dizileri) en kısa kodları alır. Belirli bir teknik anlamda, Huffman kodlaması Shannon'un orijinal sorununa en uygun çözümdür ve tipiklik hakkındaki sezgilerimizi daha iyi yakalar. Öte yandan, Shannon'ın tipiklik tanımı şeyleri kanıtlamak için daha uygundur.

— Paul
kaynak

1

Mükemmel akıl yürütme ve sezgi ve tanım arasındaki boşluğu ele alan iyi işlerde kudos. Bu tutarsızlığın günlük yaşamdan, tipik ve ortalamanın genellikle aynı anlama geldiği bir dil nedeniyle meydana geldiğini söyleyebilirim , ancak istatistik açısından, tipik olarak (olasılık anlamında, yani mod) ortalama ile aynı değildir. , yani beklenen değer.

— Emil

H (x) - ε

$H(x)-\varepsilon$

H (x) + ε

$H(x)+\varepsilon$

@Emil, yazarın böyle söylediğini varsayıyorum, çünkü hepimiz daha fazla bilgiye (daha az olası) sahip dizilerin tipik kümede yer almaması gerektiğini kabul ettik.

— tomwesolowski

1

Tipik bir küme fikri, sonuç dizilerini dolaylı olarak çoklu setler olarak ele alır, yani her dizinin histogramına önem verdiğinizi varsayar; örneğin, 7 başlı ve 3 kuyruklu 10 jetonlu dizinin tamamını eşdeğer olarak kabul edersiniz.

$p(H) = .9$

Önemli sonuç, yeterince uzun sekanslar için, neredeyse tüm örneklenmiş sekansların beklenen frekanslara keyfi olarak yakın olması, yani, düşünülen sekansların uzunluğu arttıkça dağılımın aşırı derecede zirveye çıkmasıdır.

$10^5$ $P(H)=.9$ $10^4{+/-}300$

Tipik küme, bu fikrin teorik olarak tanımlanmış daha genel bir bilgisidir.

— Daniel Mahler
kaynak

0

$2^{-nH(X)}$ $2^{nH}$

— tomwesolowski
kaynak

1

Bunun "tipik setin sezgisel tanımı" talebini nasıl ele aldığını açıklayabilir misiniz?

— whuber

Emin değilim, ama "Genel olarak, en olası dizinin tipik kümeye ait olmadığını okudum. Bu beni çok şaşırttı." sorunun bir parçası :)

— tomwesolowski

0

% 60 iniş kafaları olasılığı olan önyargılı bir para düşünün. Bu madeni para 100 kez çevrilirse, en muhtemel dizi 100 kafa olacaktır, ancak bu "tipik" değildir. Tipik dizilerin yaklaşık 60 başı olacaktır.

— Museful
kaynak