İstatistikler ve Büyük Veri

Çoklu doğrusal regresyonda, artık ve yordayıcılar arasındaki korelasyonun sıfır olduğunu anlayabiliyorum, ancak artık ve ölçüt değişkeninin beklenen korelasyonu nedir? Sıfır olması mı yoksa yüksek derecede korelasyon olması mı beklenmeli? Bunun anlamı nedir?

26 regression  residuals 

Elektrik yükü tahmini ile ilgili bir yazıyı anlamaya çalışıyorum ama içerideki konseptlerle, özellikle de SARIMAX modeliyle mücadele ediyorum . Bu model yükü tahmin etmek için kullanılır ve anlamadığım birçok istatistiksel kavramı kullanır (Ben bir bilgisayar bilimi öğrencisiyim - beni istatistikte bir uzman olarak düşünebilirsiniz). Nasıl çalıştığını tamamen anlamama gerek yok …

26 regression  time-series  arima  autoregressive  intuition 

Sinir ağları ile regresyon ilgileniyorum. Sıfır gizli düğümlü + atlama katmanı bağlantılı sinir ağları doğrusal modellerdir. Peki ya aynı sinir ağları ama gizli düğümleri var? Skip-layer bağlantılarının rolü ne olabilir merak ediyorum? Sezgisel olarak, atlama tabakası bağlantılarını eklerseniz, son modelin bir doğrusal model + bazı doğrusal olmayan parçaların toplamı olacağını …

26 regression  machine-learning  neural-networks  deep-learning 

Geçenlerde normal rastgele değişkenin karesi için ortalama 0 olan bir pdf türetmeyi gerekli buldum. Her ne sebeple, önceden varyansı normalleştirmemeyi seçtim. Bunu doğru yaptıysam, bu pdf aşağıdaki gibidir: N2(x;σ2)=1σ2π−−√x−−√e−x2σ2N2(x;σ2)=1σ2πxe−x2σ2 N^2(x; \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi} \sqrt{x}} e^{\frac{-x}{2\sigma^2}} Bunun aslında bir gama dağılımının bir parametresi olduğunu fark ettim: N2(x;σ2)=Gamma(x;12,2σ2)N2(x;σ2)=Gamma⁡(x;12,2σ2) N^2(x; \sigma^2) …

26 normal-distribution  gamma-distribution 

İnternette rastgele ve sabit etkilerin yorumlanmasıyla ilgili çok şey buldum. Ancak, aşağıdakileri sabitleyen bir kaynak bulamadım: Rasgele ve sabit etkiler arasındaki matematiksel fark nedir? Bununla modelin matematiksel formülasyonunu ve parametrelerin tahmin edilme yöntemini kastediyorum.

26 mathematical-statistics  mixed-model  random-effects-model  fixed-effects-model 

Peter Donnelly'nin konuşma esinlenerek TED o belli desen sikke fırlatır bir dizi görünmesinin ne kadar süreceğini anlatılır ki, ben 'htt' iki paterni 'hth' ve Verilen R. aşağıdaki komut dosyasını oluşturan, onu Bu kalıplardan birine basmadan önce ortalama ne kadar sürdüğünü (yani kaç jeton attığını) hesaplar. coin <- c('h','t') hit <- …

26 r  probability  stochastic-processes 

Önceden tek değişkenli zaman serilerini tahmin etmek için tahmini pro kullanmıştım , ancak iş akışımı R'ye değiştiriyorum. .arima (). Bazı durumlarda, tahmin uzmanı tahmin yapmadan önce dönüşüm verilerini günlüğe kaydetmeye karar verir, ancak bunun nedenini henüz anlamadım. Öyleyse sorum şu: ARIMA yöntemlerini denemeden önce zaman serilerimi ne zaman log-dönüşüm yapmalıyım? …

26 r  time-series  data-transformation  forecasting  arima 

Bir VAE'yi gördüğüm neredeyse tüm kod örneklerinde, kayıp işlevleri şu şekilde tanımlanır (bu tensorflow kodudur, ancak theano, torch vb. için de benzer şekilde gördüm. , sadece toplamların alındığı ekseni etkiler): # latent space loss. KL divergence between latent space distribution and unit gaussian, for each batch. # first half of …

26 machine-learning  deep-learning  tensorflow  autoencoders  variational-bayes 

Çok dengesiz bir veri setim var. Ayarlama önerisini ve kullanımını izlemeye çalışıyorum scale_pos_weightama nasıl ayarlayacağımı bilmiyorum. Gördüğümü görebiliyorum RegLossObj.GetGradient: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight dolayısıyla pozitif bir numunenin gradyanı daha etkili olacaktır. Ancak, xgboost kağıdına göre , gradyan istatistiği her zaman yerel olarak kullanılır = belirli bir ağaçtaki …

26 unbalanced-classes  xgboost 

Bayesian yöntemlerinin fazla giyinmediği doğru mu? (Bu iddiayı yapan bazı makaleleri ve dersleri gördüm) Örneğin, MNIST'e bir Gauss Süreci uygularsak (el yazısı basamaklı sınıflandırma), ancak yalnızca tek bir örnek gösterirsek, bu tek örneklemden farklı, ancak küçük olan fark için herhangi bir girdi için önceki dağıtıma geri dönecek mi?

25 bayesian  nonparametric  gaussian-process  overfitting  misspecification 

Bir süre önce eski (bilgisayar öncesi günlerde) kitaplarda, eklerde gösterilen teorik niceliklerin son rakamlarının intihalten vazgeçmesi için yanlış olduğunu hatırlıyorum (başka bir kitabın masasında bir tablo varsa son hanelerin sizinkiler ile aynı olanlara ek olması durumunda, o yazar masanızı çaldırmış olmalıdır). Bu hikaye için kaynak bulmaya çalışıyorum, ya da ondan …

25 references  history  tables 

Aynı zamanda sınıflandırma ve regresyon yapabilen herhangi bir algoritma olup olmadığını merak ediyorum. Örneğin, algoritmanın bir sınıflandırıcı öğrenmesine izin vermek istiyorum ve her bir etiketin içinde aynı zamanda sürekli bir hedef öğreniyor. Bu nedenle, her eğitim örneği için kategorik bir etikete ve sürekli bir değere sahiptir. Önce bir sınıflayıcıyı eğitebilirim, …

25 regression  machine-learning  classification  predictive-models  finite-mixture-model 

Bir modelin eğitim verilerinde% 100, ancak test verilerinde% 70 kesinliğe sahip olduğunu varsayalım. Aşağıdaki model bu model hakkında doğru mu? Bunun çok şık bir model olduğu açıktır. Test doğruluğu, aşırı takmayı azaltarak arttırılabilir. Ancak, bu model test verileri için kabul edilebilir bir doğruluğa sahip olduğundan hala faydalı bir model olabilir.

25 model  accuracy  overfitting 

Kuantil fonksiyon hakkında okuyorum ama bana göre belli değil. Aşağıda sunulandan daha sezgisel bir açıklama yapabilir misiniz? Cdf monoton olarak artan bir fonksiyon olduğu için tersi vardır; Bunu gösterelim . Eğer KTL olan , daha sonra arasında bir değerdir , öyle ki ; buna kuantili denir . Değeri sağdaki soldaki …

25 distributions  cdf  inverse-cdf  quantile-function 

Merak ediyorum, neden ilkeli / teorik makine öğrenmesi bu kadar önemli? İnsan olarak kişisel bir bakış açısıyla, ilkeli Makine Öğreniminin neden önemli olduğunu anlayabiliyorum: insanlar ne yaptıklarını anlamak gibi, güzelliği ve anlayışı memnuniyetle buluruz. kuramsal bakış açısından matematik eğlencelidir şeylerin tasarımını yönlendiren ilkeler olduğunda, rastgele tahminde bulunmak, garip deneme ve …

25 machine-learning  neural-networks  conv-neural-network  theory