«large-data» etiketlenmiş sorular

Temel bileşen analizi (PCA) yaptıktan sonra, PCA alanına yeni bir vektör yansıtmak istiyorum (yani PCA koordinat sistemindeki koordinatlarını bulmak). PCA'yı R dilinde kullanarak hesapladım prcomp. Şimdi vektörümü PCA dönme matrisi ile çarpabilmeliyim. Bu matristeki temel bileşenler satır veya sütunlar halinde mi düzenlenmelidir?

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

Makine öğrenimi öğrenmek için biraz zaman harcıyorum (özyineleme için özür dilerim :) ve çok değişkenli doğrusal regresyon durumunda, regresyon katsayılarını hesaplamak için doğrudan denklem çözme üzerinde Gradient Descent'i seçme kuralının ilgisini çekemedim. Temel kural: özellik sayısı (okuma katsayıları / bağımsız değişkenler) veya bir milyonun üzerindeyse, Gradient Descent ile devam edin, …

18 machine-learning  multiple-regression  large-data 

SAS'ı 5 yıldan beri profesyonel olarak kullanıyorum. Dizüstü bilgisayarıma yükledim ve sıklıkla 1000-2.000 değişken ve yüz binlerce gözlem içeren veri kümelerini analiz etmek zorundayım. Benzer büyüklükteki veri kümeleri üzerinde analiz yapmama izin veren SAS'a alternatifler arıyordum. Diğer insanların bu gibi durumlar için ne kullandığını merak ediyorum. Bu kesinlikle bugün kullanılan …

18 r  sas  large-data 

Bir poisson dağılımındaki faktöriye bağlı olarak, gözlemler büyük olduğunda poisson modellerini (örneğin, maksimum olasılık kullanarak) tahmin etmek pratik olmaz. Yani, örneğin, belirli bir yıldaki intihar sayısını açıklamak için bir model tahmin etmeye çalışıyorsam (sadece yıllık veriler mevcuttur) ve her yıl binlerce intihar var, yüzlerce intihar ifade etmek yanlış mı , …

17 modeling  poisson-distribution  large-data 

Beni çıldırtan küçük bir problemim var. Çok değişkenli bir zaman serisinin çevrimiçi bir edinim süreci için prosedür yazmam gerekiyor. Her zaman aralığında (örneğin 1 saniye), temelde N boyutunda kayan nokta vektörü olan yeni bir örnek alıyorum. Yapmam gereken işlem biraz zor: Her yeni örnek için, o örnek için yüzdelik değerleri …

16 algorithms  quantiles  online  large-data 

Son zamanlarda itibarın upvotes üzerindeki etkilerini analiz ettim ( blog yazısına bakın ) ve daha sonra muhtemelen daha aydınlatıcı (veya daha uygun) analiz ve grafikler hakkında birkaç sorum vardı. Bu yüzden birkaç soru (ve özellikle herhangi birine cevap vermekten ve diğerlerini görmezden gelmekten çekinmeyin): Enkarnasyondaki akımında, posta numarasını ortalamak istemedim. …

15 data-visualization  large-data  fixed-effects-model 

Konut verileri için 14 değişken ve 345.000 gözlem içeren bir proje üzerinde çalışıyorum (yıl, kare görüntüleri, satılan fiyat, ikamet yeri vb.). İyi grafik teknikleri ve güzel çizim teknikleri içeren R kütüphaneleri bulmaya çalışmakla ilgileniyorum. Zaten ggplot ve kafeste neyin iyi çalışacağını görüyorum ve bazı sayısal değişkenlerim için keman grafikleri yapmayı …

15 r  data-visualization  large-data  eda 

Sorum, özellikle dergi yayını için "büyük veriler kullanılarak örnekleme hatasının nasıl değerlendirileceği" şeklinde yeniden ifade edilebilir. İşte bir meydan okumayı gösteren bir örnek. Çok büyük bir veri kümesinden (> 100000 benzersiz hasta ve 100 hastaneden reçeteli ilaçları), belirli bir ilacı alan hastaların bir kısmını tahmin etmekle ilgileniyorum. Bu oranı elde …

14 confidence-interval  large-data  reporting 

Geleneksel olarak, uzunlamasına verileri, yani aşağıdaki gibi verileri modellemek için karışık model kullanırız: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 farklı kişiler için rastgele kesişme veya eğim …

14 machine-learning  data-transformation  random-forest  panel-data  large-data 

Veri biliminde yeniyim ve R'de 200.000 satır ve 50 sütun içeren bir veri kümesinde kümeleri bulmakta sorun yaşıyorum. Verilerin hem sayısal hem de nominal değişkenleri olduğundan, Öklid uzaklık ölçüsü kullanan K-araçları gibi yöntemler uygun bir seçim gibi görünmemektedir. Bu yüzden bir mesafe matrisini girdi olarak kabul eden PAM, agnes ve …

13 r  clustering  sampling  large-data 

Diyelim ki veri setimizde 1 milyon örnek var, yani ve bu veri setinde lojistik veya doğrusal bir regresyon gerçekleştirmek için degrade iniş kullanmak istiyoruz.x1, … , X106x1,…,x106x_1, \ldots, x_{10^6} Verimsiz hale getiren degrade iniş yöntemiyle nedir? zamanında degrade iniş adımının aşağıdakiler tarafından verildiğini hatırlayın :ttt wt + 1= wt+ ηt∇ …

13 machine-learning  gradient-descent  large-data 

SVM hakkında sahip olduğum sınırlı bilgi ile, kısa ve şişman bir veri matrisi (birçok özellik ve çok fazla örnek değil) iyidir , ancak büyük veriler için iyi değildir.XXX Ben bir nedeni Çekirdek Matrix anlamak bir olduğunu matrisi, verilerdeki durumlarda sayısıdır. 100K verisi varsa, çekirdek matrisi elemente sahip olacak ve ~ …

13 machine-learning  svm  large-data 

Çok büyük bir lineer regresyon problemi üzerinde çalışıyorum, veri boyutu o kadar büyük ki bir makine kümesinde saklanmaları gerekiyor. Tüm örnekleri tek bir makinenin belleğine (hatta diske) toplamak çok büyük olacak Bu verileri regresyon yapmak için, paralel bir yaklaşım düşünüyorum, yani her bir kutuda regresyon çalıştırın ve daha sonra her …

13 regression  linear  large-data 

Çok büyük bir veri setim var ve yaklaşık% 5 rasgele değerler eksik. Bu değişkenler birbiriyle ilişkilidir. Aşağıdaki örnek R veri kümesi sadece yapay korelasyonlu verilere sahip bir oyuncak örneğidir. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Her gün çok büyük kategorik veri örnekleri (> 1.000.000) topluyorum ve veri toplamadaki hataları tespit etmek için verilerin günler arasında "önemli ölçüde" farklı göründüğünü görmek istiyorum. Uygun bir test (özellikle bir G-testi) kullanmanın bunun için iyi bir seçim olacağını düşündüm. Beklenen dağılım, bir önceki günün dağılımı ile verilir. Ancak, örnek …

12 goodness-of-fit  large-data