Çekirdek Yoğunluğu Tahmini yapılırken Epanechnikov çekirdeği teorik olarak en uygunsa neden daha sık kullanılmıyor?

Çekirdek yoğunluk tahmini yaparken en azından teorik anlamda Epanechnikov çekirdeğinin en uygun olduğunu okudum (örneğin burada ). Bu doğruysa, Gaussian neden yoğunluk kestirimi kitaplıklarında varsayılan çekirdek kadar ya da çoğu durumda tek çekirdek kadar sık görünür?

nonparametric kernel-smoothing

— John Rauser
kaynak

Burada iki soru vardı: neden daha sık kullanılmıyor? neden Gauss genellikle varsayılan / tek çekirdektir? Kulağa önemsiz gelebilir, ancak Epanechnikov adının o dilde akıcı olmayan insanlar için doğru bir şekilde yazılması ve telaffuz edilmesi zor görünebilir. (E.'nin Rus olduğundan bile emin değilim; herhangi bir biyografik detay bulamadım.) Ayrıca, eğer bir biweight (eğer) bir kilo verirseniz, çan şekli, sonlu genişliği ve kenarlardaki davranışı hakkında yorum yaparsanız, satmak daha kolay. Stapan'da Epanechnikov varsayılan değerdir kdensity.

— Nick Cox

Bu teorik tercihin pratikte pratikte çok az etkisi olduğunu da ekleyeceğim.

— Xi'an

Bu tanıdık bir isim. Sonlu desteği olmayan bir çekirdek kullanmak mantıklıysa, onu tercih etmelisiniz. Deneyimlerime göre, mantıklı değil, bu yüzden seçim teknik değil sosyal görünüyor.

— Nick Cox

@NickCox, evet, E bir Rus ahbapıydı, bu bir kısaltma değil :) Gizemli bir insandı, bu onun hakkında bulabildiğin tek şey. Ayrıca adı ile birinin programlanabilir hesap makinelerine yazdığı çok faydalı bir kitabı hatırlıyorum , evet, o zamanlar büyük bir şeydi

— Aksakal

@amoeba Институт радиотехники и электроники Российской Академии Наук им. Котельникова, Eminim o gizli araştırma yaptı, tam adı Епанечников Виктор Александрович

— Aksakal

Yanıtlar:

Epanechnikov çekirdeğinin teorik olarak optimum olması için evrensel olarak kullanılmamasının nedeni, Epanechnikov çekirdeğinin aslında teorik olarak optimal olmaması olabilir . Tsybakov, Epanechnikov çekirdeğinin Parametrik Olmayan Kestirime Giriş ( s.14-19), s. 16-19 .

Özetlemek gerekirse, çekirdek $K$ ve sabit yoğunluk $p$ üzerindeki bazı varsayımlar altında , ortalama entegre kare hatasının,

\begin{matrix} (1) & \frac{1}{n h} \int K^{2} (u) d u + \frac{h^{4}}{4} S_{K}^{2} \int (p^{″} (x))^{2} d x . \end{matrix}

$\frac{1}{nh} \int K^2 (u) du + \frac{h^4}{4}S_K^2 \int (p''(x))^2 dx \,. \tag{1}$

Tsybakov'un ana eleştirisi, negatif olmayan çekirdeklere göre en aza indirgeniyor gibi görünüyor, çünkü negatif olmayan çekirdeklerle kısıtlanmadan, negatif olmayan bile daha iyi performans gösteren tahminciler elde etmek çoğu zaman mümkündür.

Epanechnikov çekirdeği için argümanın ilk adımı, için "en uygun" bant genişliğini elde etmek için üzerinde $(1)$ ve negatif olmayan tüm çekirdeklerde (daha geniş bir sınıfın tüm çekirdekleri yerine en aza indirilmesiyle başlar. $h$ $K$

h^{M I S E} (K) = {(\frac{\int K^{2}}{n S_{K}^{2} \int (p^{″})^{2}})}^{1 / 5}

$h^{MISE}(K) = \left( \frac{\int K^2}{nS_K^2 \int (p'')^2} \right)^{1/5}$

ve "optimal" çekirdek (Epanechnikov)

K^{*} (u) = \frac{3}{4} (1 - u^{2})_{+}

$K^*(u) = \frac{3}{4}(1-u^2)_+$

ortalama entegre kare hatası olan:

h^{M I S E} (K^{*}) = {(\frac{15}{n \int (p^{″})^{2}})}^{1 / 5} .

$h^{MISE}(K^*) = \left( \frac{15}{n \int (p'')^2} \right)^{1/5} \,.$

Bununla birlikte, bunlar bilgiye bağlı olduklarından uygulanabilir seçenekler değildir ( $p''$ bilinmeyen yoğunluk arasında) $p$ oracle "miktarları - bu nedenle bunlar".

Tsybakov tarafından verilen bir öneri, Epanechnikov kehaneti için asimtotik MISE'nin:

\begin{matrix} (2) & lim_{n \to \infty} n^{4 / 5} E_{p} \int (p_{n}^{E} (x) - p (x))^{2} d x = \frac{3^{4 / 5}}{5^{1 / 5} 4} {(\int (p^{″} (x))^{2} d x)}^{1 / 5} . \end{matrix}

$\lim_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^E (x) - p(x))^2 dx = \frac{3^{4/5}}{5^{1/5}4} \left( \int (p''(x))^2 dx \right)^{1/5} \,. \tag{2}$

Tsybakov, (2) 'nin genellikle elde edilebilecek en iyi MISE olduğu iddia edilir, ancak daha sonra her için çekirdek tahmin edicileri oluşturmak için 2. sıradaki çekirdekleri (bunun için $S_K =0$ ) kullanabileceğini gösterir. $\varepsilon >0$

\underset{n \to \infty}{lim sup} n^{4 / 5} E_{p} \int ({\hat{p}}_{n} (x) - p (x))^{2} d x \leq ε .

$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (\hat{p}_n (x) - p(x))^2 dx \le \varepsilon \,.$

Olsa da , bir hala olumlu bir parçası tahmincisi için aynı sonucu zorunlu olmayan negatif sahip değildir bile negatif olmayan olması sağlanır ( $\hat{p}_n$ $p_n^+ := \max(0, \hat{p}_n)$ $K$ ) değildir:

\underset{n \to \infty}{lim sup} n^{4 / 5} E_{p} \int (p_{n}^{+} (x) - p (x))^{2} d x \leq ε .

$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^+ (x) - p(x))^2 dx \le \varepsilon \,.$

Bu nedenle, için $\varepsilon$ yeterince küçük, orada mevcut gerçek tahmin edicileri Epanechnikov daha küçük asimptotik mise sahip kahin bile, bilinmeyen yoğunluk aynı varsayımları kullanarak $p$ .

Özellikle, sonuç olarak, tüm çekirdek tahmin edicileri (veya çekirdek tahmin edicilerinin pozitif kısımları) üzerinde sabit bir $p$ için asimtotik MISE değerinin azami değeri $0$ . Bu nedenle Epanechnikov kehaneti, gerçek tahmincilerle karşılaştırıldığında bile optimal olmaya yakın değildir.

İnsanların Epanechnikov kehaneti için argümanı ilk etapta ilerletmelerinin nedeni, yoğunluğun kendisinin negatif olmadığı için genellikle çekirdeğin kendisinin negatif olmaması gerektiğini savunmasıdır. Ancak Tsybakov'un belirttiği gibi, negatif olmayan yoğunluk tahmincileri elde etmek için çekirdeğin negatif olmadığını varsaymak zorunda değildir ve diğer çekirdeklere izin vererek, (1) oracles olmayan negatif olmayan yoğunluk tahmincileri olabilir ve (2) sabit bir $p$ için keyfi olarak Epanechnikov kehanetinden daha iyi performans gösterir . Tsybakov bu tutarsızlığı, sabit bir açıdan iyimserliği savunmanın mantıklı olmadığını iddia etmek için kullanır. $p$ , sadece birsınıftatekdüze olan iyimserlik özellikleriyoğunluğu. Ayrıca, argümanın MSE yerine MSE kullanılırken hala işe yaradığına dikkat çekiyor.

DÜZENLEME: Ayrıca bkz. Sonuç 1.1. s.25'te, Epanechnikov çekirdeğinin başka bir kritere dayanılarak kabul edilemez olduğu gösterilmiştir. Tsybakov gerçekten Epanechnikov çekirdeğini sevmiyor gibi görünüyor.

— Chill2Macht
kaynak

İlginç bir okuma için +1, ancak bu Gauss çekirdeğinin neden Epanechnikov çekirdeğinden daha sık kullanıldığını cevaplamıyor: ikisi de negatif değil.

— amip diyor Reinstate Monica

@amoeba Bu doğru. En azından bu, sadece Epanechnikov çekirdeği ile ilgili başlıktaki soruya cevap veriyor. (Yani sorunun öncülüne hitap eder ve bunun yanlış olduğunu gösterir.)

— Chill2Macht

(+1) Tsybakov'un muhtemelen olumsuz bir çekirdek tahmininin pozitif kısmını alma şemasına dikkat etmem gereken bir şey - ki en azından benim önerim anılarımdır - sonuçta ortaya çıkan yoğunluk tahmincisinin MSE'nin gerçek yoğunluğa daha iyi yakınsamasını verebilmesine rağmen , yoğunluk tahmini genel olarak geçerli bir yoğunluk olmayacaktır (kütleyi azalttığınızdan ve artık 1 ile bütünleşmediğinden). Eğer varsa aslında sadece MSE umurumda farketmez, ama bazen bu önemli bir sorun olacaktır.

— Dougal

Gauss çekirdeği, örneğin türevler aracılığıyla yoğunluk tahmininde kullanılır:

\frac{d^{i} f}{d x^{i}} (x) \approx \frac{1}{b a n d w i d t h} \sum_{j = 1}^{N} \frac{d^{i} k}{d x^{i}} (X_{j}, x)

$\frac{d^if}{dx^i}(x)\approx \frac{1}{bandwidth}\sum_{j=1}^N \frac{d^ik}{dx^i}(X_j,x)$

This is because the Epanechnikov kernel has 3 derivatives before it's identically zero, unlike the Gaussian which has infinitely many (nonzero) derivatives. See section 2.10 in your link for more examples.

— Alex R.
kaynak

The first derivative of the Epanechnikov (note the second n, by the way) kernel is not continuous where the function crosses the kernel's own bounds; that might be more of an issue.

— Glen_b -Reinstate Monica

@Glen_b: You're probably right, although having 0 derivatives after some

i

$i$ would be silly too.

— Alex R.

@AlexR. While what you say is true, I don't understand how it explains why the Gaussian is so common in ordinary density estimation (as opposed to estimating the derivative of the density). And even when estimating derivatives, section 2.10 suggests that the Gaussian is never the preferred kernel.

— John Rauser

@JohnRauser: Keep in mind that you need to use higher order Epanechnikov kernels for optimality. Usually people use a Gaussian because it's just easier to work with and has nicer properties.

— Alex R.

@AlexR I'd quibble on "[u]sually people use a Gaussian"; do you have any systematic data on frequency of use or this is just an impression based on work you see? I see biweights often, but I wouldn't claim more than that.

— Nick Cox