İki dağılım arasındaki Hellinger mesafesinin tarafsız bir tahmincisi var mı?

Bir kişinin yoğunluğu olan bir dağılımdan dağıtıldığı bir , Hellinger mesafesinin yoğunluğu olan başka bir dağılıma yani tarafsız bir tahmincisi ( ' dayalı) olup olmadığını merak ediyorum. $X_1,\ldots,X_n$ $f$ $X_i$ $f_0$

H (f, f_{0}) = {1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x}^{1 / 2} .

$\mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.$

— Xi'an
kaynak

Böylece f0 bilinir ve sabitlenir. Ancak f biliniyor mu veya parametrik bir aileden mi, yoksa bunu f örneğinizden gelen f hakkında bildiğiniz her şeyle parametrik olmayan bir çerçevede mi yapıyor? Bence cevap vermeye çalışırken bir fark yaratıyor.

— Michael R.Chickick

@MichaelChernick: hakkında bildiğiniz her şeyin

örneği olduğunu varsayalım .

f

$f$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— Xi'an

Hesaplandığını sanmıyorum (eğer varsa). Varsa, AIC'nin kayıp bir kardeşi vardır.

f

$f$ ve

f_{0}

$f_0$ ayrık olduğunu varsayarsanız, bu soruna yönelik bir saldırı mümkün görünmektedir. Bu belirgin bir tahminciye yol açar (EDF ve

arasındaki Hellinger mesafesini hesaplayın

f_{0}

$f_0$ ). Bootstrapping (teorik olarak, simülasyon yoluyla değil!) Bize olası önyargıların yanı sıra önyargıyı azaltmanın (hatta ortadan kaldırmanın) bir yolunu verecektir. Matematiksel olarak daha izlenebilir olduğundan, mesafenin kendisinden ziyade kare mesafeyle başarılı olma umudunu bekliyorum . Uygulamalarda ayrık bir

varsayımı

f

$f$ sorun yaratmaz; ayrık

boşluğu

f

$f$ yine de yoğun bir altkümedir.

— whuber

Rosenblatt'ın

"iyi niyetli" tarafsız bir tahmincisi olmadığının kanıtı akla geliyor . Bunun üstesinden gelebilir ve

nın temelsiz bir tahmincisini alabilir miyiz ? Bilmiyorum.

f

$f$

H (f, f_{0})

$H(f,f_0)$

— Zen

Yanıtlar:

Her iki Hiçbir tarafsız tahmincisi veya için var dağılımları herhangi bir makul geniş parametrik olmayan sınıfından. $\mathfrak{H}$ $\mathfrak{H}^2$ $f$

Bunu güzel basit argümanı ile gösterebiliriz.

Bickel ve Lehmann (1969). Dışbükey ailelerde tarafsız tahmin . Annals Matematik İstatistikleri, 40 (5) 1523-1535. ( proje öklid )

Bazı dağılımlar , ve , karşılık gelen yoğunluklar , ve ile . Let göstermektedirler ve izin , bazı tahmin edilmesi göre IID örnekler . $F_0$ $F$ $G$ $f_0$ $f$ $g$ $H(F)$ $\mathfrak{H}(f, f_0)$ $\hat H(\mathbf X)$ $H(F)$ $n$ $X_i \sim F$

Varsayalım ki formu, herhangi bir dağıtım örnekler için tarafsız bir Ama sonra $\hat H$

M_{α} := α F + (1 - α) G .

$M_\alpha := \alpha F + (1 - \alpha) G .$

bu yüzden

içinde olmalıdır polinom

ait en derecesi

\begin{aligned} Q (α) & = H (M_{α}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) d M_{α} (x_{1}) \dots d M_{α} (x_{n}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) [α d F (x_{1}) + (1 - α) d G (x_{1})] \dots [α d F (x_{n}) + (1 - α) d G (x_{n})] \\ = α^{n} E_{X \sim F^{n}} [\hat{H} (X)] + \dots + (1 - α)^{n} E_{X \sim G^{n}} [\hat{H} (X)], \end{aligned}

$\begin{align} Q(\alpha) &= H(M_\alpha) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \,\mathrm{d}M_\alpha(x_1) \cdots\mathrm{d}M_\alpha(x_n) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \left[ \alpha \mathrm{d}F(x_1) + (1-\alpha) \mathrm{d}G(x_1) \right] \cdots \left[ \alpha \mathrm{d}F(x_n) + (1-\alpha) \mathrm{d}G(x_n) \right] \\&= \alpha^n \operatorname{\mathbb{E}}_{\mathbf X \sim F^n}[ \hat H(\mathbf X)] + \dots + (1 - \alpha)^n \operatorname{\mathbb{E}}_{\mathbf X \sim G^n}[ \hat H(\mathbf X)] ,\end{align}$

Q (α)

$Q(\alpha)$

α

$\alpha$

n

$n$

Şimdi, makul bir durum üzerinde uzmanlaşalım ve karşılık gelen polinom olmadığını gösterelim . $Q$

, üzerinde sabit yoğunluğa sahip bir dağılım olsun : herkes için . (Bu aralığın dışındaki davranışı önemli değildir.) yalnızca üzerinde desteklenen bazı dağıtım ve yalnızca üzerinde desteklenen bazı dağıtım olsun . $F_0$ $[-1, 1]$ $f_0(x) = c$ $\lvert x \rvert \le 1$ $F$ $[-1, 0]$ $G$ $[0, 1]$

Şimdi

\begin{aligned} Q (α) & = H (m_{α}, f_{0}) \\ = \sqrt{1 - \int_{R} \sqrt{m_{α} (x) f_{0} (x)} d x} \\ = \sqrt{1 - \int_{- 1}^{0} \sqrt{c α f (x)} d x - \int_{0}^{1} \sqrt{c (1 - α) g (x)} d x} \\ = \sqrt{1 - \sqrt{α} B_{F} - \sqrt{1 - α} B_{G}}, \end{aligned}

$\begin{align} Q(\alpha) &= \mathfrak{H}(m_\alpha, f_0) \\&= \sqrt{1 - \int_{\mathbb R} \sqrt{m_\alpha(x) f_0(x)} \mathrm{d}x} \\&= \sqrt{1 - \int_{-1}^0 \sqrt{c \, \alpha f(x)} \mathrm{d}x - \int_{0}^1 \sqrt{c \, (1 - \alpha) g(x)} \mathrm{d}x} \\&= \sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G} ,\end{align}$ where

B_{F} := \int_{R} \sqrt{f (x) f_{0} (x)} d x

$B_F := \int_{\mathbb R} \sqrt{f(x) f_0(x)} \mathrm{d}x$ and likewise for

B_{G}

$B_G$ . Note that

B_{F} > 0

$B_F > 0$ ,

B_{G} > 0

$B_G > 0$ for any distributions

F

$F$ ,

G

$G$ which have a density.

$\sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G}$ is not a polynomial of any finite degree. Thus, no estimator $\hat H$ can be unbiased for $\mathfrak{H}$ on all of the distributions $M_\alpha$ with finitely many samples.

Likewise, because $1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G$ is also not a polynomial, there is no estimator for $\mathfrak{H}^2$ which is unbiased on all of the distributions $M_\alpha$ with finitely many samples.

This excludes pretty much all reasonable nonparametric classes of distributions, except for those with densities bounded below (an assumption nonparametric analyses sometimes make). You could probably kill those classes too with a similar argument by just making the densities constant or something.

— Dougal
kaynak

I don't know how to construct (if it exists) an unbiased estimator of the Hellinger distance. It seems possible to construct a consistent estimator. We have some fixed known density $f_0$ , and a random sample $X_1,\dots,X_n$ from a density $f>0$ . We want to estimate

H (f, f_{0}) = \sqrt{1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x} = \sqrt{1 - \int_{X} \sqrt{\frac{f_{0} (x)}{f (x)}} f (x) d x}

$H(f,f_0) = \sqrt{1 - \int_\mathscr{X} \sqrt{f(x)f_0(x)}\,dx} = \sqrt{1 - \int_\mathscr{X} \sqrt{\frac{f_0(x)}{f(x)}}\;\;f(x)\,dx}$

= \sqrt{1 - E [\sqrt{\frac{f_{0} (X)}{f (X)}}]},

$= \sqrt{1 - \mathbb{E}\left[\sqrt{\frac{f_0(X)}{f(X)}}\;\;\right] }\, ,$ where

X \sim f

$X\sim f$ . By the SLLN, we know that

\sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{f (X_{i})}}} \to H (f, f_{0}),

$\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{f(X_i)}}} \quad \rightarrow H(f,f_0) \, ,$ almost surely, as

n \to \infty

$n\to\infty$ . Hence, a resonable way to estimate

H (f, f_{0})

$H(f,f_0)$ would be to take some density estimator

\hat{f_{n}}

$\hat{f_n}$ (such as a traditional kernel density estimator) of

f

$f$ , and compute

\hat{H} = \sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{\hat{f_{n}} (X_{i})}}} .

$\hat{H}=\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{\hat{f_n}(X_i)}}} \, .$

— Zen
kaynak

@Zen: Good point! I consider this answer as the answer because it made me realise

H

$H$ sounds very much like a standard deviation, for which there exists no unbiased estimator. As for the variance of

{\hat{H}}_{n}^{2}

$\hat H^2_n$ , no worries:

E [(\sqrt{f_{0} (X) / f (X)})^{2}] = 1

$\mathbb{E}[(\sqrt{f_0(X)/f(X)})^2]=1$ implies that this estimator has a finite variance.

— Xi'an

Thanks for the clarification about the variance of the estimator, Xi'an!

— Zen

Some work on other consistent estimators: (a) arxiv.org/abs/1707.03083 and related work based on

k

$k$ -NN density estimators; (b) arxiv.org/abs/1402.2966 based on correcting kernel density estimates; (c) ieeexplore.ieee.org/document/5605355 based on a connection to classification. (Many of these are based on samples from both

f

$f$ and

f_{0}

$f_0$ , because that's the work I knew about offhand, but I think there are variants for known

f_{0}

$f_0$ .)

— Dougal