normunda yakınlığı test etmek için alt sınır ?

11

Aşağıdaki sorun için bilinen herhangi bir alt sınır (örnek karmaşıklığı açısından) olup olmadığını merak ediyordum:

üzerinde iki bilinmeyen , dağıtımına örnek oracle erişimi verildiğinde , test (whp) $D_1$ $D_2$ $\{1,\dots,n\}$

$D_1=D_2$
veya $\operatorname{d_2}(D_1,D_2)=\lVert D_1-D_2\rVert_2 = \sqrt{\sum_{i=1}^n\left(D_1(i)-D_2(i)\right)^2} \geq \epsilon$

Batu ve diğ. [BFR + 00] gösterdi $O\left(\frac{1}{\epsilon^4}\right)$ örnekleri yeterli, ama daha düşük bir bağlanmış herhangi bir söz bulunamadı?

Birinin her zaman $\Omega(\frac{1}{\epsilon^2})$ alt sınırını gösterebileceğini düşünüyorum, bu soruna adil ve $\epsilon$ ucretsiz bir madalyonun ayırt edilmesi görevini azaltarak (yalnızca ikisinde desteklenen bir dağılımı simüle ederek) puanlar ve iid jetonuna göre test cihazının sorgularını yanıtlar), ancak bu hala ikinci dereceden bir boşluk bırakıyor ...

(İlgileneceğim başka bir nokta, bu mesafesini tahmin etmede daha düşük bir sınırdır (yine bir katkı maddesi $\epsilon$ ) - yine, literatürde böyle bir sonuca referans bulamadım) $L_2$

Yardımın için teşekkürler,

— Clement C.
kaynak

Bu vaat sorunu Sahai ve Vadhan'ın istatistiksel farkı olarak adlandırılan soruna çok benziyor , ki bu SZK sınıfı için tam bir problem (istatistiksel sıfır bilgi); ancak mesafesini kullanırlar . cs.ucla.edu/~sahai/work/web/2003%20Publications/J.ACM2003.pdf . (Düzenleme: Ayrıca dağıtımları hesaplayan bir devre olduğunu varsayarlar, oracle erişimi değil.)

L_{1}

$L_1$

— usul

Merhaba, başka bir yorumda belirtildiği gibi, ve normu arasındaki fark aslında çok önemlidir - ayrıca, bu makalede, açık bir (ve keyfi olmayan) eşik oluşturdular (açıklamalardan birinde, bu eşiğin belirli bir kısıtlamayı yerine getirmesi gerektiğini açıklarlar); ve ile ( karşı test etmek istediğiniz "olağan test" den daha toleranslı test / mesafe tahminine bir şekilde daha yakın olmak istiyorum (ancak herhangi bir sabit )).

L_{2}

$L_2$

L_{1}

$L_1$

τ = 1 / 3

$\tau=1/3$

d_{1} \leq τ

$d_1 \leq \tau$

d_{2} \geq 1 - τ

$d_2 \geq 1-\tau$

d_{2} = 0

$d_2=0$

d_{2} \geq ϵ

$d_2 \geq \epsilon$

ϵ

$\epsilon$

— Clement C.

6

Bu görünür Örnekler - usul aşağıda gösterdiği gibi - örnek karmaşıklığı tam olarak böylece test için yeterli ; aslında, için numuneler bile yeterli bize bu numarayı çıkıyor öğrenme bir katkı kadar wrt norm. $O(1/\epsilon^2)$ $\Theta(1/\epsilon^2)$ $D$ $\epsilon$ $L_2$

Let çekme ile elde edilen deneysel yoğunluk fonksiyonu numuneleri IID ve kompozisyon Sonra burada . $\hat{D}$ $m$ $s_1,\dots, s_m\sim D$

\hat{D} (k) \overset{d e f}{=} \frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}}, k \in [n]

$\hat{D}(k) \stackrel{\rm{}def}{=} \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}},\qquad k\in[n]$

\begin{aligned} ‖ D - \hat{D} ‖_{2}^{2} & = \sum_{k = 1}^{n} {(\frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - D (k))}^{2} = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(\sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - m D (k))}^{2} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(X_{k} - E X_{k})}^{2} \end{aligned}

$\begin{align*} \lVert D - \hat{D} \rVert_2^2 &= \sum_{k=1}^n \left( \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - D(k) \right)^2 = \frac{1}{m^2}\sum_{k=1}^n \left( \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - mD(k) \right)^2 \\ &= \frac{1}{m^2}\sum_{k=1}^n \left( X_k - \mathbb{E} X_k \right)^2 \end{align*}$

X_{k} \overset{d e f}{=} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} \sim Bin (m, D (k))

$X_k\stackrel{\rm{}def}{=} \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}}\sim\operatorname{Bin}( m, D(k) )$

X_{k}

$X_k$ 's ( için ) bağımsız değildir, ancak , böylece bunun için , ve Markov eşitsizliğini uygulamak

k \in [n]

$k\in[n]$

\begin{aligned} E ‖ D - \hat{D} ‖_{2}^{2} & = \frac{1}{m^{2}} \sum_{k = 1}^{n} E [{(X_{k} - E X_{k})}^{2}] = \frac{1}{m^{2}} \sum_{k = 1}^{n} Var X_{k} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} m D (k) (1 - D (k)) \leq \frac{1}{m} \sum_{k = 1}^{n} D (k) \\ = \frac{1}{m} \end{aligned}

$\begin{align*} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 &= \frac{1}{m^2}\sum_{k=1}^n \mathbb{E}\left[ \left( X_k - \mathbb{E} X_k \right)^2 \right] = \frac{1}{m^2}\sum_{k=1}^n \operatorname{Var} X_k \\ &= \frac{1}{m^2}\sum_{k=1}^n mD(k)\left( 1- D(k) \right) \leq \frac{1}{m}\sum_{k=1}^n D(k) \\ &= \frac{1}{m} \end{align*}$

m \geq \frac{3}{ϵ^{2}}

$m\geq \frac{3}{\epsilon^2}$

E ‖ D - \hat{D} ‖_{2}^{2} \leq \frac{ϵ^{2}}{3}

$\begin{equation} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 \leq \frac{\epsilon^2}{3} \end{equation}$

P {‖ D - \hat{D} ‖_{2} \geq ϵ} \leq \frac{1}{3} .

$\begin{equation} \mathbb{P}\left\{ \lVert D - \hat{D} \rVert_2 \geq \epsilon \right\} \leq \frac{1}{3}. \end{equation}$

— Clement C.
kaynak

( "Karşıt bir şey göstererek önceki hatam için kefaret etmeye çalışacağım [...]" ile başlayan usulün cevabından bahsediyordum - ki aslında bunun üstünde. Bunu beklemiyordum :)) Öğrenmeye gelince üst sınırı, bu gösterilebilir ki (olup, çizen en naif algoritma numuneleri ve çıkışları deneysel yoğunluğu bu tanımlar) bir dağıtım elde edilir hangi sabit bir olasılıkla, bir, -yakın için olarak mesafe.

m = O (1 / ϵ^{2})

$m=O(1/\epsilon^2)$

\hat{D}

$\hat{D}$

ϵ

$\epsilon$

D

$D$

L_{2}

$L_2$

— Clement C.29

@DW Cevabımı yeni düzenledim.

— Clement C.29

3

Ben ters bir şey göstererek önceki hatamı kefaret etmeye çalışacağım - örnekleri yeterli (alt sınır neredeyse sıkı)! Ne düşündüğünüzü görün .... $\tilde{\Theta}\left(\frac{1}{\epsilon^2}\right)$ $1/\epsilon^2$

Anahtar sezgi iki gözlemden başlar. İlk olarak, dağılımların mesafesinin olması için yüksek olasılıklı noktalar olmalıdır ( ). Örneğin, olasılık olsaydı, . $L_2$ $\epsilon$ $\Omega(\epsilon^2)$ $1/\epsilon^3$ $\epsilon^3$ $\|D_1 - D_2\|_2 \leq \sqrt{\frac{1}{\epsilon^3} (\epsilon^3)^2} = \epsilon^{3/2} < \epsilon$

İkincisi, mesafeli düzgün dağılımları düşünün . Biz ise olasılığı noktaları , daha sonra her birinin farklı olacaktır ve örnekler yeterli olacaktır. Öte yandan, noktalarımız olsaydı, her birinin ve yine örnekleri ( noktası) yeterlidir. Bu nedenle, daha önce bahsedilen yüksek olasılıklı noktalar arasında, çizdiği her zaman "yeterince" farklı olan bir noktanın onu ayırt etmesini umabiliriz . $L_2$ $\epsilon$ $O(1)$ $O(1)$ $O(\epsilon)$ $1/\epsilon^2$ $O(1/\epsilon^2)$ $O(\epsilon^2)$ $O(1/\epsilon^2)$ $O(1/\epsilon^2)$

Algoritma. ve güven parametresi verildiğinde , . Her dağıtımdan örnek çizin . Let ilgili daha yüksek noktası için numune daha az sayıda olabilir . de ve olan herhangi bir noktası varsa , farklı dağılımlar. Aksi takdirde, bunları aynı şekilde beyan edin. $\epsilon$ $M$ $X = M \log(1/\epsilon^2)$ $\frac{X}{\epsilon^2}$ $a_i,b_i$ $i$ $i \in [n]$ $a_i \geq \frac{X}{8}$ $a_i-b_i \geq \sqrt{a_i} \frac{\sqrt{X}}{4}$

Doğruluk ve güven sınırları ( ), mesafesindeki tüm sapmaların olasılıkları farklılık gösteren noktalardan geldiğini belirten aşağıdaki . $1-e^{-\Omega(M)}$ $L_2$ $\Omega(\epsilon^2)$

İddia. Diyelim ki . Let. Let . Sonra $\|D_1 - D_2\|_2 \geq \epsilon$ $\delta_i = |D_1(i) - D_2(i)|$ $S_k = \{i : \delta_i > \frac{\epsilon^2}{k}\}$
$\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (1 - \frac{2}{k}) .$ $\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2\left(1-\frac{2}{k}\right).$

Kanıt . Biz İkinci toplamı sınırlayalım; en üst düzeye çıkarma isteyen tabi . İşlev yana katı konveks ve, herhangi bir alarak amacı artırabilir artmaktadır ve artan ile düşürürken ile . Böylece, amaç maksimum değerlerinde olabildiğince çok terimle, geri kalanı ise maksimize edilecektir.

\sum_{i \in S_{k}} δ_{i}^{2} + \sum_{i \notin S_{k}} δ_{i}^{2} \geq ϵ^{2} .

$\sum_{i \in S_k} \delta_i^2 ~ + ~ \sum_{i \not\in S_k} \delta_i^2 \geq \epsilon^2.$

\sum_{i \notin S_{k}} δ_{i}^{2}

$\sum_{i \not\in S_k} \delta_i^2$

\sum_{i \notin S_{k}} δ_{i} \leq 2

$\sum_{i \not\in S_k} \delta_i \leq 2$

x \mapsto x^{2}

$x \mapsto x^2$

δ_{i} \geq δ_{j}

$\delta_i \geq \delta_j$

δ_{i}

$\delta_i$

γ

$\gamma$

δ_{j}

$\delta_j$

γ

$\gamma$

0

$0$ . Her terimin maksimum değeri dır ve bu değerin en fazla terimi vardır (en fazla ). So

\frac{ϵ^{2}}{k}

$\frac{\epsilon^2}{k}$

\frac{2 k}{ϵ^{2}}

$\frac{2k}{\epsilon^2}$

2

$2$

\sum_{i \notin S_{k}} δ_{i}^{2} \leq \frac{2 k}{ϵ^{2}} {(\frac{ϵ^{2}}{k})}^{2} = \frac{2 ϵ^{2}}{k} . ◻

$\sum_{i \not\in S_k} \delta_i^2 \leq \frac{2k}{\epsilon^2}\left(\frac{\epsilon^2}{k}\right)^2 = \frac{2\epsilon^2}{k} . ~~~~ \square$

İddia . Bırakın . Eğer , en az bir nokta vardır ile ve . $p_i = \max\{D_1(i),D_2(i)\}$ $\|D_1 - D_2\|_2 \geq \epsilon$ $i \in [n]$ $p_i > \frac{\epsilon^2}{4}$ $\delta_i \geq \frac{\epsilon \sqrt{p_i}}{2}$

Kanıt . İlk olarak, tüm noktalar mı tanımı gereği (ve için boş olamaz önceki isteme göre). $S_k$ $p_i \geq \delta_i > \frac{\epsilon^2}{k}$ $S_k$ $k > 2$

İkinci olarak, , veya yeniden düzenleme, dolayısıyla eşitsizlik , içinde en az bir nokta . Şimdi . $\sum_i p_i \leq 2$

\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (\frac{1}{2} - \frac{1}{k}) \sum_{i \in S_{k}} p_{i},

$\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right) \sum_{i \in S_k} p_i,$

\sum_{i \in S_{k}} (δ_{i}^{2} - p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})) \geq 0,

$\sum_{i \in S_k} \left( \delta_i^2 - p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)\right) \geq 0 ,$

δ_{i}^{2} \geq p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})

$\delta_i^2 \geq p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)$

S_{k}

$S_k$

k = 4

$k=4$

◻

$\square$

İddia (yanlış pozitifler) . Eğer , bizim algoritma en fazla olasılık ile onları farklı beyan . $D_1 = D_2$ $e^{-\Omega(M)}$

Eskiz . İki durumu düşünün: ve . İlk durumda, örnek sayısı her iki dağıtımdan da aşmayacaktır : Ortalama örnek sayısı ve bir kuyruk bağlı olduğunu söylüyor , örnekleri bir katkı maddesi ortalamalarını aşmaz ; kuyruktaki değerini bağlı tutmaya dikkat edersek, kaç tane nokta olursa olsun, bunların üzerinde (sezgisel olarak, sınır olası noktaların sayısında katlanarak azalır). $p_i < \epsilon^2/16$ $p_i \geq \epsilon^2/16$ $i$ $X/8$ $< X/16$ $e^{-\Omega(X/p_i)} = \epsilon^2 e^{-\Omega(M/p_i)}$ $i$ $X/16$ $p_i$

Durumda , bir Chernoff bağlı kullanabilir: aldığımız zaman, söylüyor örnekleri ve bir yönlü bir olasılık ile çizilir , bunun ortalama farklılık olasılığı ile en fazla . Burada, bırakın , böylece olasılık ile sınırlandırılmıştır . $p_i \geq \epsilon^2/16$ $m$ $p$ $pm$ $c \sqrt{pm}$ $e^{-\Omega((c\sqrt{pm})^2/pm)} = e^{-\Omega(c^2)}$ $c = \frac{\sqrt{X}}{16}$ $e^{-\Omega(X)} = \epsilon^2 e^{-\Omega(M)}$

Böylece olasılıkla , (her iki dağılımlar için) örnek sayısı, içinde Ortalama in . Bu nedenle, testimiz bu noktaları yakalamayacaktır (birbirlerine çok yakındır) ve hepsine . $1-\epsilon^2e^{-\Omega(M)}$ $i$ $\sqrt{p_i\frac{X}{\epsilon^2}}\frac{\sqrt{X}}{16}$ $p_i\frac{X}{\epsilon^2}$ $16/\epsilon^2$ $\square$

İddia (yanlış negatifler) . Eğer , bizim algoritma en fazla olasılık ile onları özdeş beyan . $\|D_1 - D_2\|_2 \geq \epsilon$ $\epsilon^2 e^{-\Omega(M)}$

Eskiz . ve olan bir nokta vardır . Önceki istemdeki ile aynı Chernoff, olasılığı ile örneklerinin sayısının ortalama en fazla . Bu olan (WLOG) dağılımı ; fakat dağıtım örnek sayısı daha düşük bir olasılık var $i$ $p_i > \epsilon^2/4$ $\delta_i \geq \epsilon \sqrt{p_i}/2$ $1-\epsilon^2 e^{-\Omega(M)}$ $i$ $p_i m$ $\sqrt{p_i m} \frac{\sqrt{X}}{16}$ $1$ $p_i = D_1(i) = D_2(i) + \delta_i$ $i$ $2$ bu katkı maddesi miktarından ortalamasından farklı (ortalama ve varyans daha düşük olduğu için).

Bu nedenle, yüksek olasılıkla, her bir dağılımdan örneği sayısı ortalamasının ; ancak olasılıkları farklılık gösterir , bu nedenle ortalamaları $i$ $\sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{16}$ $\delta_i$

\frac{X}{ϵ^{2}} δ_{i} \geq \frac{X \sqrt{p_{i}}}{2 ϵ} = \sqrt{\frac{p_{i} X}{ϵ^{2}}} \frac{\sqrt{X}}{2} .

$\frac{X}{\epsilon^2}\delta_i \geq \frac{X \sqrt{p_i}}{2\epsilon} = \sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{2} .$

Dolayısıyla, yüksek olasılıkla, noktası için , örnek sayısı en az farklılık gösterir . $i$ $\sqrt{\# samples(1)} \frac{\sqrt{X}}{4}$ $\square$

Eskizler tamamlamak için, biz daha titiz bir şekilde göstermek gerekir, için yeterince büyük, örnek sayısı onun ortalama yakın yeterli olduğu kanaatine zaman algoritma kullanır yerine , hiçbir şeyi değiştirmez (sabitlerde biraz kıpır kıpır boşluk bırakarak açık olması gerekir). $M$ $i$ $\sqrt{\# samples}$ $\sqrt{mean}$

— usul
kaynak

Merhaba, Bunun için teşekkürler - Algoritma ve analiz hakkında birkaç sorum var (almak için emin değilim birkaç nokta ile ilgili): Ben sadece sonunda sonuçta sabit bir olasılık başarı istiyorum , bu demektir ki sabiti, doğru anlarsam ( ne olduğunu anlamadım )? Bu durumda, çevirmek : algoritmaya göre - bu doğru mu?

2 / 3

$2/3$

M

$M$

M

$M$

X

$X$

Θ (\log \frac{1}{ϵ})

$\Theta(\log\frac{1}{\epsilon})$

— Clement C.25

@ClementC. Üzgünüm çok net değildim! İddia şudur: örnekleri , yanlış olma olasılığı . sürekli yanlış olma olasılığı, örnekleri.

\frac{1}{ϵ^{2}} M \log (1 / ϵ^{2})

$\frac{1}{\epsilon^2} M \log(1/\epsilon^2)$

O (e^{- M})

$O(e^{-M})$

O (\frac{1}{ϵ^{2}} \log (1 / ϵ^{2}))

$O\left(\frac{1}{\epsilon^2} \log(1/\epsilon^2)\right)$

— usul

Tamam, ben de öyle topladım. Bunu akılda tutarak kanıttan geçeceğim - bunun için harcadığınız zaman için tekrar teşekkürler!

— Clement C.25

1

vakası için bunu çözmeye çalışarak başlayabilirsiniz . Eminim örnekleri bu durumda gerekli ve yeterli olacaktır. $n=2$ $\Theta(1/\epsilon^2)$

mesafesi ile mesafesi (toplam varyasyon mesafesi) arasında dönüşüm gerçekleştirmeye bakmak yararlı olabilir . $L_2$ $L_1$

Dağılımlar biliniyorsa bir örnek ile, toplam varyasyon mesafesi mükemmel bir çıkaracak türden avantaj karakterize aldığı bilinir dan . Dolayısıyla, toplam varyasyon mesafesi büyükse ve dağılımlar biliniyorsa, yüksek olasılıkla doğru bir test yapılabilir; toplam varyasyon mesafesi küçükse, yapılamaz. Toplam varyasyon mesafesinin büyük olduğu ancak dağılımların bilinmediği durum hakkında ne söylenebilir bilmiyorum. $D_1$ $D_2$
Daha sonra, ve ürün dağıtımlarına bakabilirsiniz . Toplam varyasyon mesafesi ( mesafesi) kullanıldığında, ile herhangi bir iyi sınır olmadığı . Ancak, mesafesini kullanırken, bir fonksiyonu olarak için iyi tahminler olduğuna inanıyorum . (Ben misremembering değilim umut öylesine Ne yazık ki, bu tahminler / sınırları belirli bir başvuru kazıp gibi olamaz.) Eğer tahmin edilmesini sağlayacak bilinen sınırları vardır bir fonksiyonu olarak mesafe mesafesi . $D_1^n$ $D_2^n$ $L_1$ $||D_1^n - D_2^n||_1$ $||D_1 - D_2||_1$ $L_2$ $||D_1^n - D_2^n||_2$ $||D_1 - D_2||_2$ $L_1$ $L_2$
Bu nedenle, deneyebileceğiniz bir yaklaşım , sonra da . $||D_1^n - D_2^n||_2$ $||D_1^n - D_2^n||_1$

Bunun iyi bir yere götürüp götürmeyeceğini bilmiyorum; bu sadece bir fikir. Muhtemelen alıntı yaptığınız makalenin yazarları zaten böyle bir şeyi denemiş veya düşünmüş olacaklardır.

Olası faydalı referanslar:

— DW
kaynak

Merhaba, Cevabınız için teşekkürler! Ancak, olduğunda, asimtotik bir alt sınır ile ilgileniyorum . Özellikle, ve normları arasındaki ilişki bir faktörü içerir - yani sabit için gerçekten eşdeğerdir , ancak asimptotik olarak çok farklıdır; dstance'ı proxy olarak kullanmak, kadarıyla bir seçenek değildir ( mesafesindeki yakınlığı test etmek için , tam karmaşıklığın olduğu bilinir) [BFR + 10 , Val11 ]

n \to \infty

$n\to\infty$

L_{2}

$L_2$

L_{1}

$L_1$

\sqrt{n}

$\sqrt{n}$

n

$n$

L_{1}

$L_1$

L_{1}

$L_1$

Θ (n^{2 / 3} / p o l y (ϵ))

$\Theta(n^{2/3}/{\rm{}poly}(\epsilon))$

— Clement C.

0

EDIT: bu yanlış! Yorumlardaki tartışmaya bakın - Aşağıdaki kusura dikkat çekeceğim.

Bence gerekli diyebiliriz . $\frac{1}{\epsilon^4}$

Takım . Let üniform dağılımı olabilir (her bir nokta olasılığını ) ve izin ilave bir miktarda ile üniform farklılık her noktada. mesafesinin olduğunu kontrol edin . $n = \Theta\left(\frac{1}{\epsilon^2}\right)$ $D_1$ $= \Theta(\epsilon^2)$ $D_2$ $\pm \Theta\left(\epsilon^2\right)$ $L_2$ $\epsilon$

Bu yüzden taraflı bir adil parayı taraflı -başlama parasından ayırt etmeliyiz. Bence bu en azından taraflı bir -dişli paradan taraflı adil bir para söylemek kadar zor olmalı , örnekleri. Düzenleme: bu yanlış! Madeni para ek olarak -ılmaz, ancak sabit bir faktörle çarpılarak önyargılıdır. işaret , nokta başına sabit sayıda örneğin ayırdığı . $n$ $n$ $\Theta(\epsilon^2)$ $2$ $2$ $\Theta(\epsilon^2)$ $\Theta\left(\frac{1}{(\epsilon^2)^2}\right) = \Theta\left(\frac{1}{\epsilon^4}\right)$ $\epsilon^2$ $D_1$ $D_2$

in bu argüman çizgisini itebildiğimiz kadar olduğuna dikkat edin . Somut olarak, diyelim ki, artırmaya çalıştık . Tekdüze dağılımda, her noktanın olasılığı vardır . Ancak her noktanın üniform olması için ihtiyacımız var . beri bu mümkün değil . $\frac{1}{\epsilon^4}$ $n$ $\frac{1}{\epsilon^3}$ $\epsilon^3$ $D_2$ $\epsilon^{2.5}$ $\epsilon^{2.5} \gg \epsilon^3$

Daha açık bir ifadeyle, her noktanın üniformadan farklı olmasını istediğimizi varsayalım . Sonra en biz ayarlayabilirsiniz olurdu için . mesafesini elde etmek için , uzaklıkların toplamının kare kökünün , yani , yani yani ve elde ediyoruz . $\epsilon^k$ $n$ $\frac{1}{\epsilon^k}$ $L_2$ $\epsilon$ $\epsilon$ $\sqrt{n(\epsilon^k)^2} = \epsilon$ $\epsilon^{k/2} = \epsilon$ $k = 2$ $n = \frac{1}{\epsilon^2}$

Ayrıca, biz ilgilenen eğer aynı argüman, diyor düşünüyorum ile mesafeye , biz gerektiren , biz alacağını böylece , bu nedenle örnek sayısı . Bence bu bağımsız bir sınır olarak anlamlıdır . Sonsuza olarak yaklaşır . Eğer iki dağılımlarını ayırmaya çalışırken olsaydı mesafesinde üzerinde bağlı hiçbir ile , ben yapacak bunları ayırt asla böylece (, keyfi olarak ince farkı dışarı unboundedly büyük ve yayılma $L_p$ $p > 1$ $k = \frac{p}{p-1}$ $n = 1/\epsilon^{\frac{p}{p-1}}$ $1 / \epsilon^{2\frac{p}{p-1}}$ $n$ $p \to 1$ $L_1$ $\epsilon$ $n$ $n$ yani tüm ) için sabit sayıda numune yeterli değildir . Ayrıca 'e olarak yaklaşır ; bu bir sınır olarak mantıklıdır, çünkü normu için ayarlayabilir ve her noktanın farklılık göstermesine izin verebiliriz ; örnek alacak farklı olduğundan emin olmak için bir nokta kez örneklememiz gerekir. $n$ $\frac{1}{\epsilon^3}$ $p \to \infty$ $L_{\infty}$ $n = \frac{1}{\epsilon}$ $\Theta(\epsilon)$ $\frac{1}{\epsilon^2}$ $\frac{1}{\epsilon^3}$

— usul
kaynak

1. Gerçekten her noktada ile üniform farklı mı demek istiyorsun ? Bunun bir yazım hatası olduğundan şüpheleniyorsunuz ve demek .

D_{2}

$D_2$

\pm 1 / ϵ^{2}

$\pm 1/\epsilon^2$

\pm ϵ^{2}

$\pm \epsilon^2$

— DW

1

2. Ben ayırt buna inanmıyorum gelen gerektirir örnekleri. Bana örnekleri yeterli gibi geliyor. Açıklama (sezgi): örneklerini topladığımızı ve olası her bir değerin kaç kez oluştuğunu varsayalım . Geldikleri takdirde , her (std dev 10 ile) 100 kez gerçekleşmelidir. Geldikleri takdirde , her bunların yarısı için 200 kere (standart sapma 14) gerçekleşmesi gereken, / diğer yarısı için 0 kere (standart sapma 0). veya ile uğraştığınızı biliyorsanız, bu ikisi arasında ayrım yapmak kolayca yeterlidir .

D_{1}

$D_1$

D_{2}

$D_2$

1 / ϵ^{4}

$1/\epsilon^4$

Θ (1 / ϵ^{2})

$\Theta(1/\epsilon^2)$

m = 100 / ϵ^{2}

$m=100/\epsilon^2$

D_{1}

$D_1$

D_{2}

$D_2$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@DW (1) haklısın! Sabit. (2) Koyduğunuzda, katılıyorum, ama farklı sabit seçenekleriyle bence daha zor. Ben böyle bir şey hayal ediyorum: , bu yüzden olasılığı her noktada koyar . Daha sonra her noktada ile farklılık gösterir ( mesafesinin olduğunu kontrol edin ), bu nedenle her noktaya veya olasılığı koyar .

n = 1 / 100 ϵ^{2}

$n = 1/100\epsilon^2$

D_{1}

$D_1$

100 ϵ^{2}

$100\epsilon^2$

D_{2}

$D_2$

10 ϵ^{2}

$10\epsilon^2$

L_{2}

$L_2$

ϵ

$\epsilon$

90 ϵ^{2}

$90\epsilon^2$

110 ϵ^{2}

$110\epsilon^2$

— usul

1

Sanırım örnekleri hala yeterli. örnekleri toplayın ve olası her değerin kaç kez oluştuğunu sayın. İçin , her 1,000,000 kez (standart sapma meydana gelirse ). İçin , her 900.000 defa (standart sapma meydana gelirse ) ya da 1,100,000 kez (standart sapma ). veya ile uğraştığımızı , 1.000.000 ve 1.100.000 arasındaki fark 100 standart sapma yani büyüktür.

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

m = 10^{6} n

$m=10^6n$

D_{1}

$D_1$

1000

$1000$

D_{2}

$D_2$

\approx 1000

$\approx 1000$

\approx 1000

$\approx 1000$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@DW Daha çok düşündüm - haklısın. Araçları sabit bir çarpım faktörü ile farklılık gösteriyorsa, nokta başına sabit sayıda örnek onları ayırt etmelidir. Önemli olan çarpımsal katkı maddesi değil. Bu yaklaşım daha sonra sadece alt sınırı verir .

1 / ϵ^{2}

$1/\epsilon^2$

— usul