3 sonuçlu rastgele değişken için Chernoff tipi eşitsizlik

Sayısal olmayan a, b, c değerlerini alan ve bu değişkenin örneğinin ampirik dağılımının gerçek dağılımdan nasıl saptığını ölçmek istediğimizi varsayalım . Bu durumda aşağıdaki eşitsizlik ( Cover & Thomas'dan ) geçerlidir.$n$

Teorem 12.4.1 (Sanov teoremi): X_n iid . Let olasılık dağılımları bir dizi olacak. Sonra burada E'deki bağıl entropide Q'ya en yakın dağılımdır .$X_1, X_2, \ldots, X_n$$\sim Q(x)$
$E \subseteq \mathscr{P}$

$$Q^n(E) = Q^n(E \cap \mathscr{P}_n) \leq (n+1)^{|\mathcal{X}|}2^{-nD(P^*||Q)},$$ $$P^* = \arg\min_{P \in E} D(P||Q),$$ $E$$Q$

Bu eşitsizlik küçük n için oldukça gevşek $n$. İkili sonuçlar için $|\mathcal{X}|=2$ ve Chernoff-Hoeffding sınırı çok daha sıkıdır.

| \ Mathcal {X} | = 3 için de benzer şekilde sıkı bir sınır var mı $|\mathcal{X}|=3$?

ve sıfır ise 1 olan rastgele değişkenini dikkate alarak oldukça iyi sınırlar elde edebilirsiniz (aksi takdirde denemeler arasında değişen ve kategoriler arasında değişen ). Herhangi bir sabit için bağımsızdır ve bu nedenle Chernoff sınırları kullanılarak analiz edilebilir. Sonra bağlı bir birlik yapın .$Y_{ij}$$X_i = j$$1 \le i \le n$$1 \le j \le 3$$j$$Y_{ij}$$\sum_i Y_{ij}$$j$

Yukarıdakiler yeterli değilse, örneğin Upfal ve Mitzenmacher'ın ders kitabında toplara ve bidonlara bakmanızı öneririm. Bu model sizinkilerle aynı, ancak bazı çöp kutularınızda toplara sahip olma olasılığı daha fazla olabilir, değil mi? Bu modelde, homojen olmayan çöp olasılıklarıyla ortamınıza genişletilebilecek Poisson yaklaşımlarını içeren daha karmaşık teknikler vardır.

Botanik değişkenlerine özgü olan Chernoff Hoeffding sınırları hakkında hiçbir şey yoktur. Eğer gerçek rasgele değişkenleri değerli iid Bir Chernoff bağlı uygulayabilirsiniz. İyi bir referans "Rastgele Algoritmaların Analizi için Tedbir Konsantrasyonu" dur ( http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.120.2561&rep=rep1&type=pdf )$X_1,\ldots,X_n$$0 \leq X_i \leq 1$