İstatistikler ve Büyük Veri

İstatistiklerdeki kısa deneyimimden sonra, ANOVA sonuçları elde etmek için kullanılan karelerin toplamı türü (tip I, II, III, IV ...) test sonuçlarında (özellikle etkileşimli ve eksik olan modellerde dramatik bir fark yaratabilir) veri). Ancak henüz bir rapor görmedim. Neden böyle? Birinin bunu (istatistiklerin kendisi değil) bir şekilde bildiren örnek bir kağıt …

9 regression  anova  manova  reporting  sums-of-squares 

Boylamsal bir çalışmada, birimlerinin sonuçları toplam sabit ölçüm olayı ile zaman noktalarında tekrar tekrar (sabit = birimler üzerindeki ölçümler aynı anda alınır).Yben tYbentY_{it}benbenitttmmm Birimler rastgele bir tedaviye, veya bir kontrol grubuna, atanır . Tedavinin ortalama etkisini tahmin etmek ve test etmek istiyorum, yani beklentilerin zaman ve bireyler arasında alındığı. Bu …

9 mixed-model  panel-data  multilevel-analysis  random-effects-model  fixed-effects-model 

R'deki Önemsel örnekleme yöntemi ile integrali değerlendirin sorusunu cevaplamaya çalışıyordum . Temel olarak, kullanıcının hesaplaması gerekir ∫π0f(x)dx=∫π01cos(x)2+x2dx∫0πf(x)dx=∫0π1marul⁡(x)2+x2dx\int_{0}^{\pi}f(x)dx=\int_{0}^{\pi}\frac{1}{\cos(x)^2+x^2}dx üstel dağılımın önem dağılımı olarak kullanılması q(x)=λ exp−λxq(x)=λ tecrübe-λxq(x)=\lambda\ \exp^{-\lambda x} ve integrale daha iyi yaklaşımı veren değerini bulun . Ben ortalama değeri değerlendirilmesi olarak sorun yeniden düzenleme ve boyunca yekpare sonra sadece …

9 r  simulation  exponential  importance-sampling 

GMM kullanmakta yeniyim. Çevrimiçi olarak uygun herhangi bir yardım bulamadım. "GMM kullanmanın sorunuma uyup uymadığına nasıl karar verilir?" veya sınıflandırma sorunları olması durumunda "SVM sınıflandırmasını mı yoksa GMM sınıflandırmasını mı kullanmam gerektiğine nasıl karar verilir?"

9 classification  svm  gaussian-mixture  generalized-moments 

Diğerleri olduğundan, ilgili kaynaklar buldum burada ve burada LSTM hücrelerini anlamak için gayet yararlı olduğu. Değerlerin nasıl aktığını ve güncellendiğini anladığımdan eminim ve söz konusu "gözetleme deliği bağlantılarını" vb. Benim örnekte, her adımda uzunlukta bir giriş vektörü vardır ive uzunluktaki bir çıkış vektörü oburada, o < i. Her iki sayfanın …

9 machine-learning  neural-networks  lstm  rnn 

Bazı amaçlar için, "eğimli düzgün" dağıtımdan rasgele sayılar (veri) üretmem gerekiyor. Bu dağılımın "eğimi" makul aralıklarla değişebilir ve daha sonra dağılımım eğime bağlı olarak üniformdan üçgene değişmelidir. İşte benim türetme: En kolaylaştırır ve veri oluştururlar oluşturmak Let için (mavi, kırmızı homojen olarak dağılmıştır). Mavi çizginin olasılık yoğunluk fonksiyonunu elde etmek …

9 r  distributions  python  random-generation  uniform 

Aşağıdakiler yüzünden kafam karıştı ve başka bir yerde cevabı bulamadım. Bazı istatistikleri yaparken R'yi öğrenmeye çalışıyorum ve bir egzersiz olarak, R'deki gibi 'elle' de yaparak yerleşik R işlevlerinin sonuçlarını iki kez kontrol etmeye çalışıyorum. , Kruskal-Wallis testi için farklı sonuçlar almaya devam ediyorum ve nedenini anlayamıyorum. Örneğin, bir alıştırmada verilen …

9 r  kruskal-wallis  ties 

Bu yazı iki değişkenli bir doğrusal regresyon modelini, Yi=β0+β1xiYi=β0+β1xiY_i = \beta_0 + \beta_1x_i. Her zaman toplam kareler toplamının (SSTO) hata için kareler (SSE) ve iman üzerine model (SSR) için kareler toplamına bölünmesini aldım, ama gerçekten bir kez düşünmeye başladığımda, anlayamıyorum neden çalışıyor ... Ben parçası do anlıyorum: yiyiy_i: Gözlenen y …

9 regression  sums-of-squares  orthogonal 

Elle SVD yapmaya çalışıyorum: m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3) U=eigen(m%*%t(m))$vector V=eigen(t(m)%*%m)$vector D=sqrt(diag(eigen(m%*%t(m))$values)) U1=svd(m)$u V1=svd(m)$v D1=diag(svd(m)$d) U1%*%D1%*%t(V1) U%*%D%*%t(V) Ancak son satır geri mdönmez. Neden? Bu özvektörlerin işaretleri ile ilgisi var gibi görünüyor ... Yoksa prosedürü yanlış mı anladım?

9 r  svd  eigenvalues 

Sadece bir neden kontrol etmek istiyorum. Orijinal örneğim boyutundaysa ve önyükleme yapıyorsam, düşünce sürecim aşağıdaki gibidir:nnn 1n1n\frac{1}{n} , orijinal örnekten alınan herhangi bir gözlem şansıdır. Sonraki çekilişin önceden örneklenmiş gözlem olmadığından emin olmak için örnek boyutunu n-1 ile sınırlandırıyoruz n - 1n-1n-1. Böylece, bu kalıbı elde ederiz: 1n⋅1n - 1⋅1n …

9 sampling  bootstrap  sample-size  subsampling 

Hastie ve Tibshirani, kitaplarının bölüm 4.3.2'sinde doğrusal regresyon ortamında, en küçük kareler yaklaşımının aslında maksimum olasılıkla özel bir durum olduğunu belirtmişlerdir. Bu sonucu nasıl kanıtlayabiliriz? Not: Yedek matematiksel bilgi yok.

9 regression  maximum-likelihood  least-squares 

Sahip olduğum ampirik verilerle eşleşen bir veri kümesini simüle etmeye çalışıyorum, ancak orijinal verilerdeki hataları nasıl tahmin edeceğimden emin değilim. Ampirik veriler heterossedastisite içerir, ancak onu dönüştürmekle değil, ampirik verilerin simülasyonlarını yeniden üretmek için hata terimiyle doğrusal bir model kullanmakla ilgileniyorum. Örneğin, bazı ampirik veri kümem ve bir modelim olduğunu …

9 r  simulation  heteroscedasticity  gamlss  dglm 

Zaman içindeki eğilimin curvi-doğrusal olduğu bilinen bir uygulamada spline terimi ile karışık efektler modeli kullanıyorum. Bununla birlikte, değerlendirmek istediğim, eğri-doğrusal eğilimin doğrusallıktan bireysel sapma nedeniyle mi meydana geldiği, yoksa grup düzeyinde uyumun eğri-doğrusal görünmesini sağlayan bir etki mi? JM paketinden bir veri kümesini sıkıcı tekrarlanabilir bir örnek veriyorum. library(nlme) library(JM) …

9 r  splines  lme4-nlme 

Stanford NLP derin öğrenme sınıfının yazılı ödev problemlerindeki problemleri yaşıyorum http://cs224d.stanford.edu/assignment1/assignment1_soln 3a'nın cevabını anlamaya çalışıyorum, burada orta kelime için vektörün türevini arıyorlar. Tahmin edilen bir kelime vektörü verildiğini varsayın vcvcv_{c}skipgram için orta kelimeye c karşılık gelir ve word2vec modellerinde bulunan softmax fonksiyonu ile kelime tahmini yapılır. y^Ö= p ( o …

9 self-study  neural-networks  backpropagation  word2vec 

Manifold öğrenimi ile doğrusal olmayan boyutsallık azalması arasındaki fark nedir ? Bu iki terimin birbirinin yerine kullanıldığını gördüm. Örneğin: http://www.cs.cornell.edu/~kilian/research/manifold/manifold.html : Manifold Öğrenme (genellikle doğrusal olmayan boyutsallık azalması olarak da adlandırılır), karakteristik özellikleri korurken, başlangıçta daha düşük boyutlu bir alanda yüksek boyutlu bir alanda bulunan verileri gömme hedefini takip eder. …

9 terminology  dimensionality-reduction  manifold-learning