Birim bilyadan N numunenin ortasına kadar en yakın medyan nokta için formülün açıklaması

In İstatistiksel Öğrenme Elements , bir sorun yüksek boyutlu uzaylarda k-nn ile vurgulamak konulara tanıtıldı. Vardır $N$ homojen bir dağıtılan veri noktaları $p$ boyutlu birim top.

Başlangıç noktasından en yakın veri noktasına olan ortalama mesafe ifadesi tarafından verilir:

d (p, N) = {(1 - {(\frac{1}{2})}^{\frac{1}{N}})}^{\frac{1}{p}}

$d(p,N) = \left(1-\left(\frac{1}{2}\right)^\frac{1}{N}\right)^\frac{1}{p}$

Zaman en yakın nokta olarak sınırına yaklaşırken, nasıl topun yarı çapına kadar formül sonları ve görebilirsiniz , bu şekilde sezgi geride hale yüksek boyutlarda yıkmak kNN. Fakat formülün neden N'ye bağımlı olduğunu anlayamıyorum. Birisi açıklığa kavuşturabilir mi? $N=1$ $p \rightarrow \infty$

Kitap ayrıca bu konuyu daha da ele alarak şunları söylüyor: “... eğitim örneğinin kenarlarına yakın tahmin çok daha zor. Aralarında enterpolasyon yapmak yerine komşu örnek noktalardan tahmin etmek gerekiyor”. Bu derin bir ifade gibi görünüyor, ama ne anlama geldiğini anlayamıyorum. Herkes yeniden düşünebilir mi?

self-study proof k-nearest-neighbour

— user64773
kaynak

Görüntülenen denkleminizi biraz düzenlemelisiniz. Bu

üssü sadeceşimdi göründüğü şekilde payda

için geçerli, ya da bütün için geçerli olmasını istediniz

\frac{1}{N}

$\frac 1N$

1

$1$

\frac{1}{2}

$\frac 12$

— Dilip Sarwate

Bu (içinde "hiperkürenin" ayırt etmeye yardımcı olur

boyutu arasında bir manifolddur

"birim top" (boyut sahip olan)

). Hiper küre topun sınırıdır . Başlığınızın söylediği gibi, tüm noktalar hiper küreden örneklenmişse , - tanım gereği - hepsinin başlangıç noktasından

mesafesi varsa , ortalama uzaklık

ve hepsi de başlangıç noktasına eşittir.

R^{p}

$\mathbb{R}^p$

p - 1

$p-1$

p

$p$

1

$1$

1

$1$

— whuber

@DilipSarwate Bütün uygulanır

. Kitapta

yani

\frac{1}{2}

$\frac{1}{2}$

N = 500, p = 10

$N=500, p=10$

d (p, N) \approx 0.52

$d(p, N) \approx 0.52$

— user64773

Yanıtlar:

Bir hacmi yarıçapı boyutlu Hyperball için bir ses orantılı olan . $p$ $r$ $r^p$

Böylece, hacmin başlangıç noktasından mesafesinden daha fazla oranı $kr$ . $\frac{r^p-(kr)^p}{r^p}=1-k^p$

Tüm bu olasılık rastgele seçilmiş puan daha fazla bir mesafe daha vardır kökenli olduğu . En yakın rastgele noktaya medyan mesafeyi almak için, bu olasılığı $N$ $kr$ $\left(1-k^p\right)^N$ . Yani $\frac12$

{(1 - k^{p})}^{N} = \frac{1}{2}

$\left(1-k^p\right)^N=\tfrac12$

⟹ k = {(1 - \frac{1}{2^{1 / N}})}^{1 / p} .

$\implies k=\left(1-\tfrac1{2^{1/N}}\right)^{1/p}.$

$k$ $N$ $2^{1/N}$ $N$ $\tfrac1{2^{1/N}}$ $N$ $1-\tfrac1{2^{1/N}}$ $N$ $p$

— Henry
kaynak

Ah, güzel bir bakış açısı. İkinci sorumdaki alıntıyı yeniden yorumlayabilir misiniz?

— user64773

Yüksek boyutlarda, tahmin edilecek noktaların, bir kürenin kenarındaymış gibi, eğitim verilerinden etkili bir şekilde uzun bir yol olduğunu düşündürüyor olabilir, bu yüzden gerçekten enterpolasyonlu değil, daha çok tahmin edersiniz ve belirsizlikler çok daha fazladır. Ama gerçekten bilmiyorum.

— Henry

Anlamıyorum - bu ifadenin neden tüm noktaların kr'den daha uzak olma olasılığı olduğunu anlıyorum, ama neden bu olasılığı 1/2 olarak ayarlamak medyan mesafeyi veriyor?

— ihadanny

k = {(1 - \frac{1}{2^{1 / N}})}^{1 / p}

$k=\left(1-\tfrac1{2^{1/N}}\right)^{1/p}$

N

$N$

\frac{1}{2}

$\frac12$

1 - \frac{1}{2} = \frac{1}{2}

$1-\frac12=\frac12$

k r

$kr$

Ortanca tanımı, yarısı daha büyük ve yarısı daha küçüktür.

— Grant Izmirlian

Ve şimdi el sallamadan

$P (min_{1 \leq i \leq N} Y_{i} > y) = (1 - F (y))^{N},$ $P( \min_{1\le i\le N} Y_i > y ) = (1-F(y))^N,$ $F$
Elimizdeki Böylece eğer eşit dağılmış IID birim topu , o zaman boyutları burada mesafelerin ortak CDF olup, . Son olarak, birim topunda eşit dağılmış bir nokta için CDF, nedir? Noktanın yarıçap topu içindeki yarıçap r topunda olma olasılığı hacim oranına eşittir: $N$ $X_i$ $p$
$P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - F (r))^{N},$ $P( \min_{1\le i\le N} ||X_i|| > r ) = (1-F(r))^N,$ $F$ $||X_i||, i=1,2,\ldots,N$ $F$ $R^p$

F (r) = P (| | X_{i} | | \leq r) = C r^{p} / (C 1^{p}) = r^{p}

$F(r) = P ( ||X_i|| \le r ) = C r^p/( C 1^p) = r^p$

Böylece çözüm

1 / 2 = P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - r^{p})^{N}

$1/2 = P( \min_{1\le i\le N} ||X_i|| > r ) = (1- r^p)^N$

dır-dir

r = (1 - (1 / 2)^{1 / N})^{1 / p} .

$r = (1 - (1/2)^{1/N})^{1/p}.$

Ayrıca örneklem büyüklüğüne, bağımlılıktan hakkında sorun . Sabit için , top daha fazla nokta ile doldurulduğunda, doğal olarak başlangıç noktasına olan minimum mesafe daha küçük olmalıdır. $N$ $p$

Son olarak, hacim oranınızda yanlış olan bir şey var. Görünüşe göre , birim topun hacmi olmalıdır . $k$ $R^p$

— Hibe İzmirli
kaynak

Özlü ama kelimelerle:

Bu menşe en yakın noktadan en medyan mesafe bulmak istiyoruz birim yarıçapının orijinde top eşit olarak dağıtılmış nokta boyutları. En küçük mesafenin aşma olasılığı (bu miktar ifadesi [1] olarak adlandırın), istatistiksel bağımsızlık nedeniyle, tekdüze dağılmış bir noktanın aşma olasılığının gücüdür . İkinci bir eksi tek eşit dağılmış noktası daha az olduğu olasılığıdır . Sonuncusu, yarıçapı olan topun birim yarıçapının topuna veya olan orandır . Şimdi [1] ifadesini şu şekilde yazabiliriz: $N$ $p$ $r$ $N^{th}$ $r$ $r$ $r$ $r^p$

P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - r^{p})^{N} .

$P( \min_{1\le i\le N} ||X_i|| > r ) = (1- r^p)^N.$

Minimum mesafelerin dağılımının medyanını bulmak için yukarıdaki olasılığı 2'ye ayarlayın ve cevabı elde ederek için çözün . $1/2$ $r$

— Hibe İzmirli
kaynak