İstatistikler ve Büyük Veri

Bir sürü öğretici video izliyorum ve aynı görünüyorlar. Bu örnek: https://www.youtube.com/watch?v=ip4iSMRW5X4 İyi durumları, eylemleri ve olasılıkları açıklarlar. Kişi bunu açıklıyor ama gerçek hayatta ne için kullanılacağını anlayamıyorum. Henüz hiçbir listeye rastlamadım. En sık gördüğüm satranç. Bir şeyi tahmin etmek için kullanılabilir mi? Varsa ne tür şeyler? Sonsuz miktarda veri içeren …

20 markov-process 

Ekolojik istatistiklerde çok boyutlu verilerin keşifsel veri analizi için birçok teknik vardır. Bunlara 'koordinasyon' teknikleri denir. Birçoğu istatistiklerin başka yerlerindeki ortak tekniklerle aynı veya yakından ilişkilidir. Belki de prototip örnek temel bileşenler analizi (PCA) olabilir. Ekolojistler, 'degradeleri' keşfetmek için PCA'yı ve ilgili teknikleri kullanabilirler (Bir degradenin ne olduğunu tam olarak …

20 pca  eda  ecology  correspondence-analysis 

Le ve Mikolov'un " Cümle ve Belgelerin Dağıtılmış Temsilleri " başlıklı ICML 2014 belgesindeki sonuçlardan etkilendim . "Paragraf vektörleri" olarak adlandırdıkları teknik, word2vec modelinin bir uzantısına dayanarak, keyfi olarak uzun paragrafların / belgelerin denetimsiz temsillerini öğrenir. Bu makale, bu teknik kullanılarak duyarlılık analizinde en son teknolojiye sahip performansı göstermektedir. Bu …

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

Çapraz doğrulama dışında hiperparametre ayarlaması yapmanın, dış geçerliliğin yanlı yüksek tahminlerine yol açabileceğini biliyorum, çünkü performansı ölçmek için kullandığınız veri seti özellikleri ayarlamak için kullandığınız veri kümesiyle aynıdır. Merak ettiğim bir problemin ne kadar kötü olduğu . Özellik seçimi için nasıl kötü olacağını anlayabiliyorum, çünkü bu size ayarlamanız gereken çok …

20 cross-validation  validation  hyperparameter 

Aralarındaki farkın modeldeki gruplama değişkeninin sabit veya rastgele bir etki olarak tahmin edilip edilmemesi ile ilgili olduğunu anlıyorum, ancak neden aynı olmadıklarını (aynı değilse) açık değil. Özellikle küçük alan kestirimi kullanılırken bunun nasıl çalıştığıyla ilgileniyorum, ancak sorunun sabit ve rastgele efektlerin herhangi bir uygulamasıyla ilgili olduğundan şüpheleniyorum.

20 mixed-model  blue  blup  small-area-estimation 

Neden "Momentler Yöntemi" nde, nokta tahmincisi bulmak için örnek anları nüfus anlarıyla eşitliyoruz? Bunun arkasındaki mantık nerede?

20 intuition  method-of-moments 

Aşağıda, aylık veri serilerinin acf ve pacf grafikleri verilmiştir. İkinci grafik ci.type = 'ma' ile acf: Acf grafiğindeki yüksek değerlerin sürekliliği muhtemelen uzun vadeli olumlu bir eğilimi temsil etmektedir. Soru, bunun mevsimsel değişimi temsil edip etmediği? Bu konuda farklı siteler görmeye çalıştım ama bu arazilerin mevsimsellik gösterip göstermediğinden emin değilim. …

20 time-series 

PCA ve SVD'nin matematiksel olarak nasıl hesaplanacağını biliyorum ve her ikisinin de Doğrusal En Küçük Kareler regresyonuna uygulanabileceğini biliyorum. SVD'nin matematiksel olarak ana avantajı, kare olmayan matrislere uygulanabileceği gibi görünüyor. Her ikisi de matrisinin ayrışmasına odaklanır . Bahsedilen SVD'nin avantajı dışında, PCD'ye göre SVD kullanılarak sağlanan ek avantajlar veya öngörüler …

20 pca  least-squares  svd 

Bir etkileşim terimi içeren bir regresyon modelinin ortalama marjinal etkilerinin standart hatalarını tahmin etmek için delta yöntemini daha iyi anlamak istiyorum. Delta yöntemi altında ilgili sorulara baktım ama hiçbiri aradığım şeyi sağlamamış. Motive edici bir örnek olarak aşağıdaki örnek verileri düşünün: set.seed(1) x1 <- rnorm(100) x2 <- rbinom(100,1,.5) y <- …

20 r  regression  standard-error  effect-size  delta-method 

Anladığım kadarıyla, PCA'da korelasyonlara dayalı olarak, değişkenler ve faktörler arasındaki korelasyonlardan başka bir şey olmayan faktör (bu örnekte ana bileşen) yükleri alıyoruz. Şimdi SPSS'de faktör puanları üretmem gerektiğinde, her bir faktörün her bir katılımcısının faktör puanlarını doğrudan alabilirim. " Bileşen skor katsayısı matrisini " (SPSS tarafından üretilen şekilde) standartlaştırılmış orijinal …

20 spss  pca  factor-analysis 

R fonksiyonu lm tarafından elde edilen doğrusal regresyon modelinin, Ortalama Kare Hatası komutu ile elde edilip edilemeyeceğini bilmek ister. Bir örnek şu şekilde çıktı aldım > lm <- lm(MuscleMAss~Age,data) > sm<-summary(lm) > sm Call: lm(formula = MuscleMAss ~ Age, data = data) Residuals: Min 1Q Median 3Q Max -16.1368 -6.1968 …

20 r  regression  error 

Bir (genelleştirilmiş) lineer model olduğunda R olarak, ( lm, glm, gls, glmm, ...), nasıl 0 dışında bir değere karşı katsayısı (regresyon doğrusu) test edebilir? Modelin özetinde, katsayının t testi sonuçları otomatik olarak raporlanır, ancak sadece 0 ile karşılaştırmak için. Başka bir değerle karşılaştırmak istiyorum. Test edilen değer olduğu y ~ …

20 r  regression  t-test 

"Ortalama" kavramı geleneksel aritmetik ortalamadan çok daha geniştir; medyanı içerecek kadar uzar mı? Kıyas yoluyla, raw data⟶idraw data⟶meanraw mean⟶id−1arithmetic meanraw data⟶recipreciprocals⟶meanmean reciprocal⟶recip−1harmonic meanraw data⟶loglogs⟶meanmean log⟶log−1geometric meanraw data⟶squaresquares⟶meanmean square⟶square−1root mean squareraw data⟶rankranks⟶meanmean rank⟶rank−1medianraw data⟶idraw data⟶meanraw mean⟶id−1arithmetic meanraw data⟶recipreciprocals⟶meanmean reciprocal⟶recip−1harmonic meanraw data⟶loglogs⟶meanmean log⟶log−1geometric meanraw data⟶squaresquares⟶meanmean square⟶square−1root mean squareraw data⟶rankranks⟶meanmean rank⟶rank−1median \text{raw data} …

20 mean  average  median 

Eğer rasgele vektör ve sabit matris, birisi nedeni de budurZZ\mathbf {Z}AAAcov[AZ]=Acov[Z]A⊤.cov[AZ]=Acov[Z]A⊤.\mathrm{cov}[A \mathbf {Z}]= A \mathrm{cov}[\mathbf {Z}]A^\top.

20 covariance 

Gibbs örnekleme ve Metropolis Hastings algoritması hakkında biraz okuma yapıyorum ve birkaç sorum var. Anladığım kadarıyla, Gibbs örneklemesi durumunda, büyük bir çok değişkenli problemimiz varsa, koşullu dağıtımdan örnek alıyoruz, yani bir değişkeni örneklerken, diğerlerini sabit tutarken MH'de tam eklem dağılımından örnek alıyoruz. Belgenin söylediği bir şey, önerilen örneğin Gibbs Sampling'de …

20 bayesian  sampling  mcmc  gibbs  metropolis-hastings