Değişken çekirdek genişlikleri genellikle çekirdek regresyonu için iyi ise, neden çekirdek yoğunluğu tahmini için genellikle iyi değildir?

Bu soru başka bir yerde tartışılarak sorulmaktadır .

Değişken çekirdekler genellikle yerel regresyonda kullanılır. Örneğin, loess yaygın olarak kullanılır ve bir regresyon pürüzsüzlüğü kadar iyi çalışır ve veri genişliğine uyum sağlayan değişken genişlikte bir çekirdeğe dayanır.

Öte yandan, değişken çekirdeklerin genellikle çekirdek yoğunluğu tahmininde zayıf tahmin edicilere yol açtığı düşünülmektedir (bakınız Terrell ve Scott, 1992 ).

Yoğunluk tahmini için değil, regresyon için iyi çalışmalarının sezgisel bir nedeni var mı?

— Rob Hyndman
kaynak

"Öte yandan, değişken çekirdeklerin genellikle çekirdek yoğunluğu tahmininde zayıf tahmin edicilere yol açtığı düşünülmektedir", bahsettiğiniz makalenin buna inandığınız kısmı nedir? Diğer dereksiyona giden çok sayıda referansım var, örneğin bu makalede belirtilen referanslara bakın: arxiv.org/PS_cache/arxiv/pdf/1009/1009.1016v1.pdf

— robin

Terrell ve Scott'ın özeti güzelce özetliyor: "Tüm sürümlerdeki en yakın komşu tahmin edicileri bir ve iki boyutta kötü performans gösteriyor". Çok değişkenli yoğunluk tahmininde sadece çok fazla avantaj buluyorlar.

— Rob Hyndman

"En yakın komşu" tek değişken çekirdeği değildir. Bahsettiğim makaleler Lepskii algoritması gibi başka bir araç kullanıyor. AOS belgesini okuyacağım, ancak en yakın komşunun performanslarının boyutla birlikte azalması gerektiğinden, boyutun artırılmasının "çok parametrik olmayan" bir tahmin ediciye avantaj sağladığını garip buldum (Sabit bant genişliğinin daha az parametrik olmadığını kabul edersek değişen bant genişliği). Bu tür bir durumda, kullanılan değerlendirme vakası sıklıkla sonuçları belirler ...

— Robin Girard

@Robin Girard:> * boyutun arttırılmasının "çok parametrik olmayan" bir tahmin ediciye avantaj sağladığını garip buldu (Sabit bant genişliğinin değişen bant genişliğinden daha parametrik olmadığını kabul edersek) * bu cümlede bir yazım hatası var mı? Aksi halde yazarlarla, en azından sezgisel düzeyde hemfikirsiniz. Onaylamak / düzeltmek için teşekkürler.

— user603

@kwak bunu fark ettiğiniz için teşekkürler! Bu bir yazım hatası: Sabit bant genişliği daha az NP olduğunu söylemek istedim ...

— Yorumumu

Yanıtlar:

Burada bölünmeye çalışacağım iki farklı soru var gibi görünüyor:

1) KS, çekirdek yumuşatma, KDE'den farklı, çekirdek yoğunluğu tahmini nasıl? Diyelim ki bir tahmincim / daha pürüzsüz / enterpolatörüm var

est( xi, fi -> gridj, estj )

ve ayrıca xi'deki "gerçek" yoğunluğuf () biliyor. Daha sonra koşu est( x, densityf ) yoğunluğu f (): a KDE tahmini vermelidir. KS'lerin ve KDE'lerin farklı değerlendirilmeleri olabilir - farklı pürüzsüzlük kriterleri, farklı normlar - ama temel bir fark görmüyorum. Neyi kaçırıyorum ?

2) Boyut, sezgisel olarak tahmin veya düzeltmeyi nasıl etkiler ? İşte sadece sezgiye yardım etmek için bir oyuncak örneği. Düzgün bir ızgarada N = 10000 nokta ve içinde W = 64 nokta olan bir pencere, çizgi veya kare veya küp düşünün:

                1d          2d          3d          4d
---------------------------------------------------------------
data            10000       100x100     22x22x22    10x10x10x10
side            10000       100         22          10
window          64          8x8         4x4x4       2.8^4
side ratio      .64 %       8 %         19 %        28 %
dist to win     5000        47          13          7

Burada "yan oran", pencere tarafı / kutu tarafıdır ve "dist to win", kutudaki rastgele bir noktanın rastgele yerleştirilmiş bir pencereye olan ortalama mesafesinin kabaca bir tahminidir.

Bu hiç mantıklı mı? (Bir resim veya uygulama gerçekten yardımcı olur: kimse?)

Fikir, sabit boyutlu bir kutu içindeki sabit boyutlu bir pencerenin, 1d 2d 3d 4d'de kutunun geri kalanına çok farklı bir yakınlığa sahip olmasıdır. Bu tek tip bir ızgara içindir; boyuta olan güçlü bağımlılık diğer dağılımlara dayandırır, belki değil. Her neyse, güçlü bir genel etkiye, boyutsallığın lanetinin bir yönüne benziyor.

— denis
kaynak

Çekirdek yoğunluğu tahmini, bir yerel (bulanık) pencere üzerinde entegrasyon anlamına gelir ve çekirdek yumuşatma, bir yerel (bulanık) pencere üzerinde ortalama anlamına gelir .

Çekirdek yumuşatma: $\tilde y(x) \propto \frac 1 {\rho(x)} \sum K(||x-x_i||)\,y_i$ .

Çekirdek yoğunluğu tahmini: $\rho(x) \propto \sum K(||x-x_i||)$ .

Bunlar nasıl?

Boole değerli bir işlevin örneklerini, yani hem "gerçek örnekleri" (her biri birim değerine sahip) hem de "yanlış örnekleri" (her biri sıfır değerine sahip) içeren bir kümeyi düşünün. Toplam örnek yoğunluğunun sabit olduğu varsayıldığında (ızgara gibi), bu işlevin yerel ortalaması , gerçek değerli altkümenin yerel (kısmi-) yoğunluğu ile aynıdır . (Yanlış örnekler, toplama denklemine sıfır terim eklerken, düzeltme denkleminin paydasını sürekli olarak göz ardı etmemize izin verir, böylece yoğunluk tahmin denklemine basitleştirir.)

Benzer şekilde numuneleriniz bir boole tarama cihazında seyrek elemanlar olarak gösterildiyse, tarama cihazına bir bulanıklık filtresi uygulayarak yoğunluklarını tahmin edebilirsiniz.

Bunlar nasıl farklı?

Sezgisel olarak, düzeltme algoritmasının seçiminin, numune ölçümlerinin önemli ölçüm hatası içerip içermediğine bağlı olmasını bekleyebilirsiniz.

Bir uçta (gürültü yok) örnek konumlarında tam olarak bilinen değerler arasında enterpolasyon yapmanız yeterlidir. De, Delaunay üçgenleme (bilinear parça parça enterpolasyonu ile).

Yoğunluk tahmini, zıt uç noktaya benzemektedir, izolasyondaki örneğe o noktada yoğunluk değerinin bir ölçümü eşlik etmediği için tamamen gürültüdür. (Yani basitçe enterpolasyon yapacak bir şey yoktur. Voronoi diyagram hücre alanlarını ölçmeyi düşünebilirsiniz, ancak yumuşatma / gürültü giderme önemli olacaktır.)

Mesele şu ki, benzerliğe rağmen bunlar temelde farklı problemlerdir, bu nedenle farklı yaklaşımlar en uygun olabilir.

— Benjimin
kaynak