İstatistikler ve Büyük Veri

Son zamanlarda Time Series bilgimi tekrar topladım ve makine öğrenmesinin çoğunlukla yalnızca bir adım önde tahminler verdiğini fark ettim. Bir adım önde tahminlerle kastediyorum, örneğin saatlik verilerimiz varsa, sabah 11'den 11'e ve sabah 12'den 11'e tahmin etmek için verileri kullanın. Makine öğrenim yöntemleri bir adım önde tahminler üretebilir mi? H-ileriye …

9 machine-learning  time-series  forecasting  arima 

Aşağıdaki simülasyon sorun geldi: verilen bir dizi bilinen gerçek sayılar, bir dağıtım ile tanımlanır burada , pozitif kısmını belirtir . Bu dağılımı hedefleyen bir Metropolis-Hastings örnekleyicisini düşünürken, algoritmanın sırasını den ya düşürmek için çok sayıda sıfır olasılıktan yararlanarak verimli bir doğrudan örnekleyici olup olmadığını merak ediyorum. .{ω1,…,ωd}{ω1,…,ωd}\{\omega_1,\ldots,\omega_d\}{−1,1}d{−1,1}d\{-1,1\}^dP(X=(x1,…,xd))∝(x1ω1+…+xdωd)+P(X=(x1,…,xd))∝(x1ω1+…+xdωd)+\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+(z)+(z)+(z)_+zzzO(2d)O(2d)O(2^d)O(d)O(d)O(d)

9 simulation  algorithms  random-generation  computational-statistics  metropolis-hastings 

İki iid rv'nin farkının PDF'sinin bir dikdörtgen gibi görünmesi mümkün mü (rv'ler üniform dağılımdan alındığında elde ettiğimiz üçgen yerine). yani jk'nin PDF f'sinin (bazı dağıtımlardan alınan iki iid rv için) tüm -1 <x <1 için f (x) = 0.5 olması mümkün mü? Minimum -1 ve maksimum 1 olması dışında j …

9 random-variable  pdf  iid 

giriş İki durumda E. coli ile kontamine yüzeylere tekrar tekrar temas eden katılımcılarım var ( A = eldiven giyiyor, B = eldiven yok). Eldivenli ve eldivensiz parmak uçlarındaki bakteri miktarı arasında ve aynı zamanda temas sayısı arasında bir fark olup olmadığını bilmek istiyorum. Her iki faktör de katılımcıdır. Deneysel yöntem: …

9 r  anova  repeated-measures  lme4-nlme  glmm 

Bu biraz felsefi bir soru olabilir, ama işte başlıyoruz: Karar teorisinde bir Bayes tahmincisi riski θ^(x)θ^(x)\hat\theta(x) için θ∈Θθ∈Θ\theta\in\Theta önceki bir dağılımla ilgili olarak tanımlanır ππ\pi üzerinde ΘΘ\Theta. Şimdi, bir yandan, gerçek için θθ\theta veri üretmiş olmak (yani "mevcut"), θθ\theta altında olası bir değişken olmalı ππ\piörneğin sıfır olmayan olasılık, sıfır olmayan …

9 bayesian  prior  decision-theory  point-estimation 

Sıklıklı bir bakış açısından yeterli bir istatistiğin en basit tanımı burada Wikipedia'da verilmiştir . Ancak, yakın zamanda Bayesli bir kitapta tanımıyla karşılaştım . Bağlantıda her ikisinin de eşdeğer olduğu belirtiliyor, ancak nasıl olduğunu göremiyorum. Ayrıca, aynı sayfada, «Diğer Yeterlilik Türleri» bölümünde, her iki tanımın da sonsuz boyutlu alanlarda eşdeğer olmadığı …

9 bayesian  mathematical-statistics  sufficient-statistics 

Mevsimsel değil döngüsel olan bir zaman serisini modellemeye ve tahmin etmeye çalışıyorum (yani mevsime benzer desenler var, ancak sabit bir dönemle değil). Bu, Öngörme Kısım 8.5'te belirtildiği gibi bir ARIMA modeli kullanılarak mümkün olmalıdır : ilkeler ve uygulama : Veriler döngü gösteriyorsa , değeri önemlidir. Döngüsel tahminler elde etmek için, …

9 time-series  forecasting  arima  seasonality 

Kısa bir süre önce Eric J. Ma tarafından bu konuşmayı izledim ve Radford Neal'dan alıntı yaptığı blog girişini kontrol ettim, Bayesian modellerin abartılamadığını (ancak overfit edebileceklerini ) ve bunları kullanırken, onları doğrulamak için test setlerine ihtiyacımız yok ( Bana tırnak işaretleri yerine parametreleri ayarlamak için doğrulama kümesi kullanarak konuşmak gibi …

9 machine-learning  bayesian  cross-validation  deep-learning 

Kapalı . Bu sorunun daha fazla odaklanması gerekiyor . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu, yalnızca bu yayını düzenleyerek tek bir soruna odaklanacak şekilde güncelleyin . 2 yıl önce kapalı . Makine öğrenimi alanında yeniyim, ancak Keras ile basit bir sınıflandırma algoritması uygulamak istedim. Ne …

9 machine-learning  classification  neural-networks  transfer-learning 

Bir pdf genellikle olarak yazılır , burada küçük harfi bu pdf'ye sahip rastgele değişken gerçekleştirilmesi veya sonucu olarak ele alınır . Benzer şekilde, bir , anlamına gelen olarak . Bununla birlikte, skor fonksiyonunun tanımı ve cdf'nin muntazam bir şekilde dağıtıldığı bu türev gibi bazı durumlarda, rastgele değişken kendi pdf / …

9 random-variable  pdf  cdf  intuition 

Şu anda Takviye Öğrenme Algoritmalarına Genel Bakış ve belki de bunların bir sınıflandırmasını arıyorum. Ancak Sarsa ve Q-Learning + Deep Q-Learning'in yanında gerçekten popüler bir algoritma bulamıyorum. Vikipedi bana farklı genel Takviye Öğrenme Yöntemleri hakkında genel bir bakış sunuyor, ancak bu yöntemleri uygulayan farklı algoritmalara referans yok. Ama belki genel …

9 reinforcement-learning  q-learning 

RKHS regresyonunda regülasyon ile lineer regresyon arasındaki farkı inceliyorum, ancak ikisi arasındaki önemli farkı kavramakta zorlanıyorum. Verilen giriş-çıkış çiftleri , bir işlev tahmin etmek isteyen aşağıdaki gibi ; burada bir çekirdek işlevidir. katsayıları çözülerek bulunabilir. ; burada, gösterimde bazı kötüye kullanımlarla , çekirdek matrisi K'nın i, j 'girişi olan {\ …

9 regression  generalized-linear-model  regularization  kernel-trick  rbf-kernel 

Hamiltonyan Monte Carlo'nun (HMC) iç çalışmasını anlamaya çalışıyorum, ancak deterministik zaman entegrasyonunu bir Metropolis Hasting önerisiyle değiştirdiğimizde tam olarak anlayamıyorum. Michael Betancourt'un Hamiltonian Monte Carlo'ya Kavramsal Giriş adlı müthiş tanıtım belgesini okuyorum , bu yüzden burada kullanılan gösterimi takip edeceğim. Arka fon Markov Zinciri Monte Carlo'nun (MCMC) genel hedefi, bir …

9 mcmc  monte-carlo  hmc 

Prototipi Fisher testi olan "kesin testler" veya "permütasyon testleri" adlı paradoksal bir davranışla karşılaştım. İşte burada. 400 kişiden oluşan iki grubunuz (örneğin 400 kontrole karşı 400 vaka) ve iki modaliteli (örneğin maruz kalan / maruz bırakılmamış) bir değişken bulunduğunuzu düşünün. İkinci grupta sadece 5 maruz kalan birey vardır. Fisher testi …

9 power  permutation-test  fishers-exact 

Let be içinde . nin ortalama ve kovaryans matrisi nedir (maksimum eleman hesaplandığında)?Z∼N(μ,Σ)Z∼N(μ,Σ)Z \sim \mathcal N(\mu, \Sigma)RdRd\mathbb R^dZ+=max(0,Z)Z+=max(0,Z)Z_+ = \max(0, Z) Bu, örneğin, ReLU aktivasyon işlevini derin bir ağda kullanırsak ve CLT aracılığıyla belirli bir katmana girişlerin yaklaşık normal olduğunu varsayarsak, bu çıkışların dağılımıdır. (Eminim birçok insan bunu daha önce …

9 probability  distributions  normal-distribution  moments  censoring