İstatistikler ve Büyük Veri

Http://flowingdata.com ve informationisbeautiful adresinde gördüğünüz görselleştirme türlerini nasıl oluşturacağınızı öğrenmek istiyorum . EDIT: Anlamı, kendi içinde ilginç görselleştirmeler - bir rapor için hızlı bir şey aksine, NY Times grafik gibi. Bunları oluşturmak için ne tür araçlar kullanılır - çoğunlukla Adobe Illustrator / Photoshop mu? Bu araçların özellikle veri görselleştirme için …

19 data-visualization 

Veri madenciliği ve istatistiksel analiz arasındaki fark nedir? Bazı geçmişler için, istatistiksel eğitimim bence oldukça gelenekseldi. Belirli bir soru yöneltilir, araştırma tasarlanır ve bu soru hakkında bir fikir vermek için veriler toplanır ve analiz edilir. Sonuç olarak, her zaman "veri tarama" olarak nitelendirdiğim şeyden kuşkuluyordum, yani büyük bir veri kümesindeki …

19 data-mining  terminology  analysis 

Parametreleri tahmin etmek için 'temel' istatistik fikri maksimum olasılıktır . Makine öğreniminde buna karşılık gelen fikrin ne olduğunu merak ediyorum. Sn 1. Parametreleri tahmin etmek için makine öğrenmesindeki 'temel' fikrin 'Kayıp Fonksiyonları' olduğunu söylemek adil olur mu? [Not: Makine öğrenimi algoritmalarının genellikle bir kayıp fonksiyonunu ve dolayısıyla yukarıdaki soruyu optimize …

19 machine-learning  maximum-likelihood  loss-functions  pac-learning 

Duşta bu sorunu düşündüm, yatırım stratejilerinden ilham aldı. Diyelim ki sihirli bir para ağacı var. Her gün, para ağacına bir miktar para teklif edebilirsiniz ve bu onu üçe katlayacak ya da 50/50 olasılıkla yok edecektir. Bunu yaparak ortalama olarak para kazanacağınızı ve para ağacından yararlanmaya istekli olduğunuzu hemen fark edersiniz. …

19 probability  mathematical-statistics  econometrics  random-walk  martingale 

Matérn kovaryans işlevi Gauss Süreci'nde yaygın olarak çekirdek işlevi olarak kullanılır. Bu şekilde tanımlanır Cν(d)=σ221−νΓ(ν)(2ν−−√dρ)νKν(2ν−−√dρ)Cν(d)=σ221−νΓ(ν)(2νdρ)νKν(2νdρ) {\displaystyle C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}} burada ddd bir mesafe fonksiyonu (Öklid mesafesi gibi), ΓΓ\Gamma gama fonksiyonudur, KνKνK_\nu ikinci …

19 spatial  gaussian-process  kernel-trick 

James-Stein tahmincisi hakkında okuyordum. Bu yer, tanımlanan notları gibi θ^=(1−p−2∥X∥2)Xθ^=(1−p−2‖X‖2)X \hat{\theta}=\left(1 - \frac{p-2}{\|X\|^2}\right)X Kanıtı okudum ama şu ifadeyi anlamıyorum: Geometrik olarak, James-Stein tahmincisi X'in her bir bileşenini XXXbaşlangıç ​​noktasına doğru daraltır ... " X'in her bileşenini XXXbaşlangıç ​​noktasına doğru daraltır " tam olarak ne anlama geliyor? Ben gibi şeyler düşünüyordum …

19 estimation  terminology  shrinkage  steins-phenomenon 

Varyansın temel kimliğini düşünün: Var(X)===E[(X−E[X])2]...E[X2]−(E[X])2Var(X)=E[(X−E[X])2]=...=E[X2]−(E[X])2 \begin{eqnarray} Var(X) &=& E[(X - E[X])^2]\\ &=& ...\\ &=& E[X^2] - (E[X])^2 \end{eqnarray} Merkezi bir moment tanımının merkezi olmayan momentlere basit bir cebirsel manipülasyonudur. 'un diğer bağlamlarda uygun şekilde manipülasyonuna izin verir . Ayrıca, ortalamanın hesaplanması ve daha sonra varyansın hesaplanması için, iki geçiş yerine …

19 variance  descriptive-statistics  intuition 

Ben 140000 örnek bir veri kümesi ve bunun için bir ikili sınıflandırma (SVM, Lojistik Regresyon, Rastgele Orman vb.) Çoğu durumda, Izgara veya Rastgele arama kullanarak tüm veri kümesinde hiperparametre ayarı çok masraflıdır. Aşağıdaki tekniği kullanmaya başladım Veri kümemdeki alt örnek Hiperparametreleri ayarlamak için elde edilen fraksiyonu kullanın Veri kümesinin tamamını …

19 machine-learning  cross-validation  hyperparameter 

Cantor dağıtımından örneklemenin en iyi yolu nedir ? Sadece cdf var ve tersine çeviremiyoruz.

19 distributions  simulation  random-generation 

Bir varlığın fiyatını tahmin etmek için bir VAR modeli oluşturuyorum ve yöntemimin istatistiksel olarak sağlam olup olmadığını, dahil ettiğim testlerin alakalı olup olmadığını ve girdi değişkenlerime dayanarak güvenilir bir tahmin sağlamak için daha fazlasının gerekip gerekmediğini bilmek istiyorum. Granger nedenselliğini kontrol etmek ve seçilen VAR modelini tahmin etmek için şu …

19 r  forecasting  modeling  var 

Katlamalı ve havuzlama katmanlarını anlıyorum, ancak CNN'lerde tamamen bağlı bir katmanın nedenini göremiyorum. Önceki katman neden çıktı katmanına doğrudan bağlı değil?

19 neural-networks  deep-learning  conv-neural-network 

Doğru bir şekilde anladıysam, bir makine öğrenme algoritmasında, model deneyimlerinden öğrenmelidir, yani model yeni vakalar için yanlış tahmin verdiğinde, yeni gözlemlere adapte olmalı ve zamanla model giderek daha iyi hale geliyor . Lojistik regresyonun bu özelliği olduğunu görmüyorum. Peki neden hala bir makine öğrenme algoritması olarak kabul ediliyor? “Öğrenme” anlamında …

19 machine-learning  logistic  random-forest 

Bir MRF'nin gözlenen düğümlerinin değerlerini sabitlersem, CRF olur mu?

19 probability  graphical-model  graph-theory  conditional-random-field  markov-random-field 

Heterosedastisitenin çok açık olduğu takılan değerlerin fonksiyonu olarak doğrusal bir modelin artık değerlerinin bir grafiğine sahibim. Ancak şu an nasıl ilerlemem gerektiğinden emin değilim çünkü anladığım kadarıyla bu hetero-esneklik doğrusal modelimi geçersiz kılıyor. (Bu doğru mu?) Görünüşe göre heterosensedastisiteye karşı sağlam olduğu rlm()için MASSpaketin işlevini kullanarak sağlam lineer bağlantı parçası …

19 r  generalized-linear-model  heteroscedasticity  lm 

Bu ifadeyi eski bir doğru / yanlış sınavda okudum: Degrade iniş kullanarak karesi alınmış hataların toplamını en aza indirerek doğrusal bir regresyon problemini çözersek birden fazla yerel optimum çözüm elde edebiliriz. Çözüm: Yanlış Sorum şu, bu sorunun hangi kısmı yanlış? Bu ifade neden yanlış?

19 least-squares  gradient-descent  convex