«high-dimensional» etiketlenmiş sorular

'Öklid mesafesinin yüksek boyutlarda iyi bir mesafe olmadığını' okudum. Sanırım bu ifadenin boyutluluk laneti ile bir ilgisi var, ama tam olarak ne? Ayrıca 'yüksek boyutlar' nedir? 100 özelliği olan Öklid mesafesini kullanarak hiyerarşik kümeleme uyguluyorum. Bu ölçümü kullanmak kaç özelliğe kadar 'güvenli'?

239 machine-learning  clustering  distance-functions  metric  high-dimensional 

Boyutluluk laneti hakkında defalarca duydum, ama nasıl olduysa hala fikrini kavrayamıyorum, hepsi sisli. Bunu bir çocuğa açıklayacağınız gibi bunu en sezgisel bir şekilde açıklayabilir miyim, böylece ben (ve benim gibi kafam karışan diğerleri) bunu iyi anlayabilsin mi? DÜZENLE: Şimdi, diyelim ki çocuk bir şekilde kümelemeyi duymuş (örneğin, oyuncaklarını nasıl kümelendiğini …

91 machine-learning  dimensionality-reduction  high-dimensional 

Bunu daha önce StackOverflow'ta sormuştum, ancak SO'da yanıt alamadığı için burada daha uygun olabilir gibi görünüyor. İstatistik ve programlama arasındaki kesişme noktasında. PCA (Asıl Bileşen Analizi) yapmak için bazı kodlar yazmam gerekiyor. Ben tanınmış algoritmalar aracılığıyla göz ve uyguladık bu bir bildiğim kadarıyla söyleyebilirim NIPALS algoritması eşdeğerdir. İlk 2-3 ana …

54 pca  algorithms  model-evaluation  high-dimensional 

50.000'den fazla değişkenli bir modelde Kement veya ridge regresyon kullanmak istiyorum. Bunu R'deki yazılım paketini kullanarak yapmak istiyorum. Büzülme parametresini ( ) nasıl tahmin edebilirim ?λλ\lambda Düzenlemeler: İşte anladığım nokta: set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0), size= 1000*1000, replace = T) X <- matrix(Xv, nrow = 1000, …

36 r  lasso  ridge-regression  high-dimensional 

Boyutsallığın azaltılması için -sne algoritması hakkında çok şey okudum . MNIST gibi "klasik" veri kümelerindeki performanstan, rakamların net bir şekilde ayrılmasını sağladığı için çok etkilendim ( orijinal makaleye bakın ):ttt Ayrıca, eğittiğim bir sinir ağı tarafından öğrenilen özellikleri görselleştirmek için de kullandım ve sonuçlardan çok memnun kaldım. Yani, anladığım kadarıyla: …

23 clustering  data-visualization  dimensionality-reduction  high-dimensional  tsne 

Mükemmel bir tahmin çifti bulabildiğini test etmek için R'de LASSO regresyonu ile küçük bir deney yapıyorum. Parite şöyle tanımlanır: f1 + f2 = sonuç Buradaki sonuç, 'yaş' adı verilen önceden belirlenmiş bir vektördür. F1 ve f2, yaş vektörünün yarısını alıp değerlerin geri kalanını 0'a ayarlayarak oluşturulur, örneğin: age = [1,2,3,4,5,6], …

20 r  regression  feature-selection  lasso  high-dimensional 

Verilerimin bazı özellikleri büyük değerlere sahipken, diğer özellikler çok daha küçük değerlere sahip. T-SNE'yi uygulamadan önce verileri daha büyük değerlere doğru sapmayı önlemek için ortalamak + ölçeklemek gerekir mi? Python'un sklearn.manifold.TSNE uygulamasını varsayılan öklid mesafesi metriğiyle kullanıyorum.

18 normalization  dimensionality-reduction  high-dimensional  tsne 

"Boyutsallığın laneti" nin ne olduğunu anlıyorum ve bazı yüksek boyutlu optimizasyon problemleri yaptım ve üstel olasılıkların zorluklarını biliyorum. Ancak, gerçek boyutların çoğunda "boyutsallığın laneti" mevcutsa şüphe ediyorum. Binlerce özelliğe sahip veri toplayabiliriz ancak özelliklerin binlerce boyuta sahip bir alana tam olarak yayılması mümkün değildir. Boyut azaltma tekniklerinin bu kadar popüler …

17 clustering  dimensionality-reduction  high-dimensional 

Yüksek boyutlu regresyon alanındaki araştırmaları okumaya çalışıyorum; zaman ppp daha büyüktür nnn , o, bir p>>np>>np >> n . Görünüşe göre logp/nlog⁡p/n\log p/n terimi, regresyon tahmin edicileri için yakınsama oranı açısından sıkça görülmektedir. Örneğin, burada , denklem (17) der kement uyum β^β^\hat{\beta} tatmin 1n∥Xβ^−Xβ∥22=OP(σlogpn−−−−−√∥β∥1).1n‖Xβ^−Xβ‖22=OP(σlog⁡pn‖β‖1). \dfrac{1}{n}\|X\hat{\beta} - X \beta\|_2^2 = O_P …

16 regression  lasso  convergence  high-dimensional 

Boyutsallık laneti hakkında okuduğum yerler, öncelikle kNN ve genel olarak doğrusal modellerle bağlantılı olarak açıklıyor. Veri kümesindeki 100k veri noktasına sahip binlerce özellik kullanarak Kaggle'daki en üst sıralayıcıları düzenli olarak görüyorum. Diğerleri arasında ağırlıklı olarak Artırılmış ağaçlar ve NN kullanırlar. Pek çok özellik çok yüksek görünüyor ve boyutsal lanetten etkileneceklerini …

15 neural-networks  svm  k-means  k-nearest-neighbour  high-dimensional 

Rastgele Orman Sınıflandırması yapmadan önce PCA yapmak mantıklı mıdır? Yüksek boyutlu metin verileriyle uğraşıyorum ve boyutsallığın lanetinden kaçınmaya yardımcı olmak için özellik azaltma yapmak istiyorum, ancak Rastgele Ormanlar zaten bir boyut azaltma türüne değil mi?

14 classification  pca  random-forest  dimensionality-reduction  high-dimensional 

Bu sorunun başlığının her şeyi söylediğine inanıyorum.

12 clustering  k-means  high-dimensional 

Profimiz, çoklu doğrusal regresyonun matematiğine, hatta geometrik temsilini ele geçirmiyor ve bu beni biraz karıştırdı. Bir yandan , daha yüksek boyutlarda bile, hala çoklu doğrusal regresyon denir . Öte yandan, örneğin ve ve için istediğimiz değerleri ekleyebilirsek , bu bize olası çözümlerin bir düzlemini vermez mi? ve bir çizgi değil?x1x2Y^= …

11 multiple-regression  high-dimensional 

Kevin Murphy'nin kitabını okuyorum: Machine Learning-O olasılıklı bir Perspektif. İlk bölümde yazar boyutsallığın lanetini açıklıyor ve anlamadığım bir kısım var. Örnek olarak, yazar şöyle diyor: Girişlerin bir D-boyutlu birim küp boyunca eşit olarak dağıtıldığını düşünün. Diyelim ki, istenen fraksiyonu içerene kadar x etrafında hiper küp oluşturarak sınıf etiketlerinin yoğunluğunu tahmin …

11 self-study  k-nearest-neighbour  high-dimensional 

Boyutsallığın lanetinden bahsederken bu sıklıkla belirtilir ve gider (göreceli kontrast adı verilen sağ formül) limd→ ∞var ( | | Xd| |kE[ | | Xd| |k]) =0,sonra: Dmaksimumkd- DminkdDminkd→ 0limd→∞var(||Xd||kE[||Xd||k])=0,sonra:Dmaksimumdk-DmindkDmindk→0 \lim_{d\rightarrow \infty} \text{var} \left(\frac{||X_d||_k}{E[||X_d||_k]} \right) = 0, \text{then}: \frac{D_{\max^{k}_{d}} - D_{\min^{k}_{d}}}{D_{\min^{k}_{d}}} \rightarrow 0 Teoremin sonucu, belirli bir sorgu noktasına olan maksimum …

10 machine-learning  distance-functions  high-dimensional