«dimensionality-reduction» etiketlenmiş sorular

Temel bileşen analizi (PCA) genellikle kovaryans matrisinin bir öz-ayrışmasıyla açıklanır. Bununla birlikte, veri matrisinin tekil değer ayrıştırması (SVD) yoluyla da gerçekleştirilebilir . O nasıl çalışır? Bu iki yaklaşım arasındaki bağlantı nedir? SVD ile PCA arasındaki ilişki nedir?XX\mathbf X Başka bir deyişle, boyutsallık azaltma gerçekleştirmek için veri matrisinin SVD'si nasıl kullanılır?

352 pca  dimensionality-reduction  matrix  svd 

Boyutsallığın azaltılması için ana bileşen analizi (PCA) kullanılabilir. Böyle bir boyutluluk azaltma gerçekleştirildikten sonra, orijinal değişkenler / özellikler az sayıda temel bileşenden yaklaşık olarak nasıl yeniden yapılandırılabilir? Alternatif olarak, birkaç temel bileşen veriden nasıl çıkarılabilir veya atılabilir? Başka bir deyişle, PCA nasıl tersine çevrilir? PCA'nın tekil değer ayrışması (SVD) ile …

113 pca  dimensionality-reduction  svd 

Boyutluluk laneti hakkında defalarca duydum, ama nasıl olduysa hala fikrini kavrayamıyorum, hepsi sisli. Bunu bir çocuğa açıklayacağınız gibi bunu en sezgisel bir şekilde açıklayabilir miyim, böylece ben (ve benim gibi kafam karışan diğerleri) bunu iyi anlayabilsin mi? DÜZENLE: Şimdi, diyelim ki çocuk bir şekilde kümelemeyi duymuş (örneğin, oyuncaklarını nasıl kümelendiğini …

91 machine-learning  dimensionality-reduction  high-dimensional 

Genel olarak, PCA gibi bir analizdeki varyansın oranının ilk ana bileşen tarafından açıklandığını söylemek ne anlama gelir ? Birisi bunu sezgisel olarak açıklayabilir ancak aynı zamanda “açıklamanın” temel bileşen analizi (PCA) açısından ne anlama geldiğinin kesin bir matematiksel tanımını verebilir mi?xxx Basit doğrusal regresyon için, en uygun çizginin r karesi …

90 regression  pca  linear-model  dimensionality-reduction 

ZCA beyazlatma ve normal beyazlatma konusunda kafam karıştı (temel bileşenler PCA özdeğerlerinin kareköklerine bölünerek elde edildi). Bildiğim kadarıyla, xZCAwhite=UxPCAwhite,xZCAwhite=UxPCAwhite,\mathbf x_\mathrm{ZCAwhite} = \mathbf U \mathbf x_\mathrm{PCAwhite}, burada PCA özvektörleridir.UU\mathbf U ZCA beyazlamasının kullanım alanları nelerdir? Normal beyazlatma ve ZCA beyazlatma arasındaki farklar nelerdir?

59 pca  dimensionality-reduction  image-processing 

İstatistiki bir modelde bir girdi (öngörücü) olarak kullanmak amacıyla birçok kategoriyi bir kaçına çökertmek (veya birleştirmek) için hangi teknikler mevcuttur? Üniversite öğrencisi büyük (bir lisans öğrencisi tarafından seçilen disiplin) gibi bir değişken düşünün . Sırasız ve kategoriktir, ancak potansiyel olarak onlarca farklı seviyeye sahip olabilir. Diyelim ki regresyon modelinde majör …

58 regression  categorical-data  dimensionality-reduction  feature-construction  many-categories 

Daha yüksek dereceli sistemlerin boyutsallığını azaltmak ve kovaryansın çoğunu tercihen 2 boyutlu veya 1 boyutlu bir alanda yakalamak istiyorum. Bunun ana bileşen analizi yoluyla yapılabileceğini biliyorum ve PCA'yı birçok senaryoda kullandım. Ancak, onu hiçbir zaman boolean veri türleriyle kullanmadım ve PCA'yı bu setle yapmanın anlamlı olup olmadığını merak ediyordum. Örneğin, …

38 pca  data-visualization  binary-data  dimensionality-reduction  correspondence-analysis 

Yazarlardan birinden alıntı: t-Dağıtılmış Stokastik Komşu Gömme (t-SNE), boyutsallığın azaltılması için yüksek boyutlu veri kümelerinin görselleştirilmesi için özellikle uygun bir ( ödüllü ) tekniktir. Bu yüzden kulağa çok hoş geliyor, ama Yazar konuşuyor. Yazardan bir başka alıntı (yeniden: yukarıda belirtilen rekabet): Bu yarışmadan ne aldın? Tahmin edicileri veriler üzerinde çalışmaya …

37 data-visualization  dimensionality-reduction  tsne 

Yakın zamanda yapılan bir atamada, boyutları 64'ten (8 x 8 görüntüler) 2'ye düşürmek için MNIST rakamlarında PCA kullanmamız söylendi. Daha sonra rakamları bir Gauss Karışım Modeli kullanarak kümelemek zorunda kaldık. Yalnızca 2 ana bileşen kullanan PCA, farklı kümeler vermez ve sonuç olarak, model yararlı gruplar oluşturamaz. Bununla birlikte, 2 bileşenli …

34 classification  clustering  pca  dimensionality-reduction  tsne 

Sorularım Faktör analizinde (veya PCA'daki bileşenler) faktörlerin dönmesini yapmanın ardındaki sezgisel sebep nedir? Anladığım kadarıyla eğer değişkenler üst bileşenlere (veya faktörlere) neredeyse eşit olarak yüklenirse, o zaman açıkça bileşenleri ayırt etmek zordur. Dolayısıyla bu durumda bileşenlerin daha iyi bir şekilde ayırt edilebilmesi için rotasyon kullanılabilir. Bu doğru mu? Rotasyon yapmanın …

33 pca  interpretation  factor-analysis  dimensionality-reduction  factor-rotation 

Amaç : Bir kentin yerleşim alanlarını, konut birim yoğunluğu, nüfus yoğunluğu, yeşil alan, konut fiyatı, okul sayısı, okul / sağlık merkezleri / günlük bakım merkezleri gibi sosyal-ekonomik özelliklerine göre gruplandırmak istiyorum. Yerleşim bölgelerinin kaç farklı gruba bölünebileceğini ve bunların benzersiz özelliklerinin neler olduğunu anlamak istiyorum. Bu bilgi şehir planlamasını kolaylaştırabilir. …

32 clustering  pca  k-means  dimensionality-reduction 

/ edit: Şimdi daha fazla takip irlba :: prcomp_irlba kullanabilirsiniz / edit: kendi gönderimde takip etmek. irlbaŞimdi, temel bileşenleri hesaplamak için kullanmanıza izin veren "merkez" ve "ölçek" argümanlarına sahiptir, örneğin: pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v Büyük bir seyrek var Matrixben öğrenme algoritması bir makinede kullanmak istiyorum …

31 r  pca  dimensionality-reduction  svd  matrix-decomposition 

Sorunumu bir örnekle açıklayacağım. Bazı nitelikler verilen bir bireyin gelirini tahmin etmek istediğinizi varsayalım: {Yaş, Cinsiyet, Ülke, Bölge, Şehir}. Bunun gibi bir eğitim veri setine sahipsiniz train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

Bir (i, j) sayfasının kaç kez bireysel olduğumu söylediğini söyleyen bir matrisim var. 27 bin birey ve 95 bin sayfa var. Sık sık birlikte görüntülenen sayfa kümelerine karşılık gelen sayfalar alanında bir avuç "boyutlar" veya "boyutlar" istiyorum. Nihai hedefim, daha sonra bireysel olarak, boyut 1, boyut 2 vb. Sayfalara giren …

28 r  clustering  dimensionality-reduction 

scikit-learnMakine öğrenim kütüphanesinden (Python) Doğrusal Ayrımcılık Analizi'ni (LDA) boyutsallığın azaltılması için kullanıyordum ve sonuçları biraz merak ediyordum. Şimdi, LDA'nın ne scikit-learnyaptığını merak ediyorum , böylece sonuçlar R'de yapılan bir manuel yaklaşımdan veya LDA'dan farklı görünecek şekilde farklı görünebilir. Biri bana burada bazı bilgiler verebilirse harika olur. Temel olarak en çok …

26 python  scikit-learn  dimensionality-reduction  discriminant-analysis  svd