İstatistikler ve Büyük Veri

Son birkaç gündür Markov Zinciri Monte Carlo'nun (MCMC) nasıl çalıştığını anlamaya çalışıyorum. Özellikle Metropolis-Hastings algoritmasını anlamaya ve uygulamaya çalışıyorum. Şimdiye kadar algoritma hakkında genel bir anlayışa sahip olduğumu düşünüyorum ama henüz net olmayan birkaç şey var. Bazı modelleri verilere uydurmak için MCMC kullanmak istiyorum. Bu nedenle, gözlemlenen bazı veriler düz …

13 mcmc  metropolis-hastings 

Çoklu regresyondaki serbestlik derecesi eşittir , burada k değişken sayısıdır.N−k−1N−k−1N-k-1kkk Mu (yani, tepki değişkeni içerecek Y )? Örneğin, model , Y = B 0 + B 1 x 1 + B 2 x 2 , ardından yok K = 3 (yani, her df 1 Y , X, 1 , ve …

13 self-study  multiple-regression  degrees-of-freedom 

Sadece Kolektif İstihbarat (Toby Segaran tarafından) kitabıyla çalışıyorum ve Öklid uzaklık skoruyla karşılaştım. Kitapta yazar, iki öneri dizisi arasındaki benzerliğin nasıl hesaplanacağını gösterir (yani, .kişi × film ↦ puanı )kişixfilm↦Puan)\textrm{person} \times \textrm{movie} \mapsto \textrm{score}) İki kişilik Öklid mesafeyi hesaplar ve göre p1p1p_1p2p2p_2d( p1, p2) = ∑i ∈ öğe ( sp1- …

13 distance-functions  similarities 

ÖDÜL: Ödülün tamamı, aşağıda kestirimci kullanan veya bahseden yayınlanmış herhangi bir makaleye referans sağlayan birine verilecektir .F~F~\tilde{F} Motivasyon: Bu bölüm muhtemelen sizin için önemli değildir ve bunun ödülünüzü almanıza yardımcı olmayacağından şüpheleniyorum, ancak birisi motivasyonu sorduğundan, üzerinde çalıştığım şey bu. İstatistiksel grafik teorisi problemi üzerinde çalışıyorum. Standart yoğun grafik sınırlayıcı …

13 distributions  bernoulli-distribution  stratification  rejection-sampling  ecdf 

Gauss diferansiyel entropisi . Bu standart sapma olan bağlıdır .günlük2( σ2 πe---√)günlük2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Eğer rasgele değişkeni birim varyansa sahip olacak şekilde normalleştirirsek, diferansiyel entropi düşer. Bana göre bu durum sezgisel çünkü normalleştirme sabitinin Kolmogorov karmaşıklığı entropideki azalmaya kıyasla çok küçük olmalı. Bu rastgele değişken tarafından üretilen herhangi bir veri …

13 information-theory  entropy  randomness 

Rastgele bir değişken için ( ) Sezgisel olarak eşit olmalıdır belleksizlik özelliği tarafından yana dağılımını ile aynı olan ancak sağa kaydırılır x .X∼ Uzm ( λ )X~Tecrübe(λ)X\sim \text{Exp}(\lambda)E [X] = 1λE[X]=1λ\mathbb{E}[X] = \frac{1}{\lambda}E [X| X> x ]E[X|X>x]\mathbb{E}[X|X > x]x + E [ X]x+E[X]x + \mathbb{E}[X]X| X> xX|X>xX|X > xXXXxxx Ancak, …

13 random-variable  exponential  conditional-expectation 

Belirli bir kullanıcının bir siteye yaptığı ziyaret sayısını kullanarak klasik karmaşası tahmin sorunu üzerinde çalışıyorum ve Poisson Regresyonunun o kullanıcının gelecekteki katılımını modellemek için doğru araç olduğunu düşündüm. O zaman hayatta kalma analizi ve Tehlike Modellemesi hakkında bir kitapla karşılaştım ve hangi tekniğin en iyi olduğunu bilmiyorum. Her iki konuyu …

13 survival  hazard  poisson-process 

Cox orantılı tehlike modeli için öngörülen hayatta kalma işlevini, kırılganlık terimleriyle [hayatta kalma paketini kullanarak] hesaplamak istiyorum. Modelde kırılganlık terimleri olduğunda tahmin edilen kurtulan işlevinin hesaplanamadığı anlaşılmaktadır. ## Example require(survival) data(rats) ## Create fake weight set.seed(90989) rats$weight<-runif(nrow(rats),0.2,0.9) ## Cox model with gamma frailty on litter fit <- coxph(Surv(time, status) ~ …

13 r  survival  cox-model  frailty 

Hayatta kalma analizinde durum değişikliğini tespit etmek için iki farklı yöntemi karşılaştırmak istiyorum. Bir grup denek daha uzun bir süre (uzun yıllar) takip edilmektedir ve durum değişikliğinin olup olmadığını incelemek için iki inceleme yöntemi kullanılmıştır; her konuyu yılda iki kez incelemek için bir yöntem ve her konuyu yılda bir kez …

13 survival  paired-data 

Daha önce RBM'lerde sorduğum soruyu takip ediyorum . Onları tanımlayan birçok literatür görüyorum ama hiçbiri gerçekte regresyondan söz etmiyor (etiketli verilerle sınıflandırma bile değil). Yalnızca etiketlenmemiş veriler için kullanıldığını hissediyorum. Regresyonla başa çıkmak için herhangi bir kaynak var mı? Yoksa gizli katmanın üstüne başka bir katman eklemek ve CD algoritmasını …

13 regression  machine-learning  classification  neural-networks 

Kullanabileceğim bir açık kaynak veya mevcut bir kütüphane arıyorum. Söylediğim gibi glmnet paketi negatif olmayan kasayı kapsayacak şekilde kolayca genişletilebilir değil. Yanılıyor olabilirim, herhangi bir fikri olan herkes çok takdir. Negatif olmayan bir ifadeyle, tüm katsayıların pozitif olarak kısıtlandığı anlamına gelir (> 0).

13 r  lasso 

Arima kullanmadan önce bir seriyi (ihtiyaç duyduğu varsayılarak) fark etmek daha mı iyi, yoksa Arima içinde d parametresini kullanmak için daha mı iyi? Aynı model ve verilerle hangi güzergahın alındığına bağlı olarak, takılan değerlerin ne kadar farklı olduğuna şaşırdım. Yoksa yanlış bir şey mi yapıyorum? install.packages("forecast") library(forecast) wineindT<-window(wineind, start=c(1987,1), end=c(1994,8)) …

13 r  time-series  arima 

Yüksek çoklu eş-doğrusallık ile doğrusal regresyonda beta kararlılığı? Diyelim ki doğrusal bir regresyonda, ve değişkenleri yüksek çoklu sahiptir (korelasyon 0.9 civarındadır).x1x1x_1x2x2x_2 katsayı kararlılığı konusunda endişeliyiz, bu nedenle çoklu-eş-doğrusallığı tedavi etmek zorundayız.ββ\beta Ders kitabı çözümü sadece değişkenlerden birini atmak olacaktır. Ancak değişkenleri atarak yararlı bilgileri kaybetmek istemiyoruz. Herhangi bir öneri?

13 regression  multicollinearity 

Diyelim ki iki çok değişkenli veri kümesi veriliyor, eski bir tane ve yeni bir tane var ve bunların aynı süreç tarafından (modeliniz olmayan) tarafından oluşturulmuş olması gerekiyor, ama belki de toplama / yaratma çizgisi boyunca bir yerde veri, bir şeyler ters gitti. Yeni verileri, örneğin eski veriler için bir doğrulama …

13 multivariate-analysis 

İki örneğim var ( her iki durumda da ). Ortalamalar havuzlanmış std'nin yaklaşık iki katı kadar farklılık gösterir. dev. Ortaya çıkan değeri yaklaşık 10'dur. Sonuçların, araçların aynı olmadığını kesin olarak gösterdiğimi bilmek harika olsa da, bu bana büyük n tarafından yönlendiriliyor gibi görünüyor. Verilerin histogramlarına baktığımda, küçük p değeri gibi …

13 hypothesis-testing  t-test