İstatistikler ve Büyük Veri

Çoklu pozitif-tanımlı matrislerin ortalaması mutlaka pozitif-tanımlı veya pozitif yarı-tanımlı mıdır? Ortalama eleman bazında ortalamadır.

15 mathematical-statistics  matrix  covariance-matrix 

Lojistik regresyondaki işlevlerin nasıl çalıştığı (veya belki de bir bütün olarak işlev gördüğü) konusunda bazı temel karışıklıklarım olduğunu düşünüyorum. H (x) fonksiyonu görüntünün solunda görülen eğriyi nasıl üretir? Ben bu iki değişkenin bir komplo olduğunu görüyorum ama sonra bu iki değişken (x1 & x2) de fonksiyonun argümanları. Bir değişkenin bir …

15 logistic  data-visualization  function 

Ben istatistiklerde bir çaylağım, bu yüzden lütfen bana burada yardımcı olabilir misiniz? Sorum şu: Havuzlanmış varyans aslında ne anlama geliyor? İnternette toplanmış varyans için bir formül aradığımda, aşağıdaki formülü kullanarak çok fazla literatür buluyorum (örneğin, burada: http://math.tntech.edu/ISR/Mathematical_Statistics/Introduction_to_Statistic_Tests/thispage/newnode19.html ): S2p=S21(n1−1)+S22(n2−1)n1+n2−2Sp2=S12(n1−1)+S22(n2−1)n1+n2−2\begin{equation} \label{eq:stupidpooledvar} \displaystyle S^2_p = \frac{S_1^2 (n_1-1) + S_2^2 (n_2-1)}{n_1 + n_2 …

15 variance  mean  pooling 

Çoklu impütasyondan sonra kalibrasyon grafiklerini / istatistiklerini birleştirme konusunda tavsiye istiyorum. Gelecekteki bir olayı tahmin etmek için istatistiksel modeller geliştirme ortamında (örneğin, hastaneden taburculuk sonrası hayatta kalmayı veya olayları tahmin etmek için hastane kayıtlarından elde edilen verileri kullanma), bazı çok fazla eksik bilginin olduğu hayal edilebilir. Birden fazla itimat, bu …

15 data-visualization  data-imputation  multiple-imputation  pooling  calibration 

Karışım modellerinde (Gauss Karışımı, Gizli Markov Modeli, vb.) Beklenen Maksimizasyon yöntemini vurgulayan birçok literatür vardır. EM neden önemlidir? EM, optimizasyon yapmanın bir yoludur ve degrade tabanlı yöntem (gradyan terbiyeli veya newton / yarı-newton yöntemi) veya BURADA tartışılan diğer gradyansız yöntem olarak yaygın olarak kullanılmaz . Buna ek olarak, EM'nin hala …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture 

Metin kümeleme sorunu üzerinde çalışıyorum. Veriler birkaç cümle içerir. Kısa metinde yüksek doğruluğa ulaşan iyi bir algoritma var mı? İyi referanslar verebilir misiniz? KMeans, spektral kümeleme gibi algoritmalar bu problem için iyi sonuç vermez.

15 machine-learning  clustering  text-mining 

Aşağıdaki kutu grafikte gördüğünüz gibi dört yöntemle test edilmiş bir tahmin modelim var. Modelin öngördüğü özellik 0-8 aralığındadır. Orada olduğunu fark edebilirsiniz biri üst sınır aykırı ve üç alt sınır aykırı tüm yöntemlerle gösterdi. Bu örnekleri verilerden kaldırmanın uygun olup olmadığını merak ediyorum. Yoksa bu tahmin modelini geliştirmek için bir …

15 regression  machine-learning  multiple-regression  predictive-models  outliers 

Let {Xi}ni=1{Xi}i=1n\{X_i\}_{i=1}^n değerleri alınarak Rasgele değişkenlerin bir ailesi [0,1][0,1][0,1] bir ortalama sahip olan, μμ\mu ve varyans σ2σ2\sigma^2 . Ne zaman bilinirse kullanılarak ortalama için basit bir güven aralığı P ( | ˉ X - μ | > ε ) ≤ σ 2 ile verilir.σσ\sigmaP(|X¯−μ|>ε)≤σ2nε2≤1nε2(1).P(|X¯−μ|>ε)≤σ2nε2≤1nε2(1). P( | \bar X - \mu| …

15 normal-distribution  confidence-interval  references  asymptotics  approximation 

Normal PCA'nın gözlemlenen veriler için olasılık modelini takip etmediğini biliyorum. Peki PCA ve PPCA arasındaki temel fark nedir ? PPCA gizli değişken modelinde örneğin gözlenen değişkenleri , gizli (gözlemlenmeyen değişkenler x ) ve normal PCA'da olduğu gibi ortonormal olması gerekmeyen bir matris W bulunur . Normal PCA'yı düşünebileceğim bir başka …

15 pca 

Basit bir sinir ağı ikili sınıflandırıcısının eğitimi sırasında çapraz entropi kullanarak yüksek bir kayıp değeri elde ederim. Buna rağmen, doğrulama setindeki doğruluk değeri oldukça iyi. Bunun bir anlamı var mı? Kayıp ve doğruluk arasında katı bir ilişki yok mu? Bu değerleri eğitim ve onaylama üzerine aldım: 0.4011 - acc: 0.8224 …

15 neural-networks  accuracy 

Eğer uygun varsayalım doğrusal / lojistik regresyon , tarafsız bir tahmin amacı ile bir 1g(y)=a0+a1⋅x1+a2⋅x2g(y)=a0+a1⋅x1+a2⋅x2g(y) = a_0 + a_1\cdot x_1 + a_2\cdot x_2 . Hem çok eminizbir1vebir2Onların tahminlerine gürültü çok olumlu göredir.a1a2a1a2\frac{a_1}{a_2}a1a1a_1a2a2a_2 Eğer ortak kovaryansını varsa , sen hesaplamak ya da en azından bir cevap etkisi yaratabilir. Daha iyi yollar …

15 regression  regression-coefficients  unbiased-estimator  ratio 

Ben lme4::glmer()ikili değil, ancak sıfır ile bir arasında sürekli bir değişken olan bir binom genelleştirilmiş karışık model (GLMM) sığdırmak için kullanmaya çalışıyorum . Bu değişken bir olasılık olarak düşünülebilir; aslında olan insan deneklerin (bir deney ben yardım analiz olarak) bildirilen olasılığı. Yani bu kadar değil bir "ayrık" fraksiyon, ancak sürekli …

15 r  logistic  mixed-model  glmm  lme4-nlme 

X - Y eklem dağılımının destek üzerinde eşit olduğu iki, iid rasgele değişken için herhangi bir dağılım var mıdır [0,1]?X,YX,YX,YX−YX−YX-Y

15 distributions  random-variable 

Çok kollu haydutlar, seçenekleriniz olduğu ve hangisinin sağlığınızı en üst düzeye çıkaracağından emin olmadığınız durumlarda iyi çalışır. Algoritmayı bazı gerçek yaşam durumları için kullanabilirsiniz. Örnek olarak, öğrenme iyi bir alan olabilir: Bir çocuk marangozluk öğreniyorsa ve bu konuda kötü ise, algoritma ona muhtemelen devam etmesi gerektiğini söyleyecektir. Eğer bu konuda …

15 algorithms  reinforcement-learning  multiarmed-bandit 

Belirli bir çıkarım problemi için, Bayesci bir yaklaşımın genellikle hem biçim olarak hem de fütürist bir yaklaşımdan kaynaklandığını biliyoruz. Sık sık (genellikle beni içerir) çoğu zaman yöntemlerinin bir önceliğe ihtiyaç duymadığına ve dolayısıyla "yargıya dayalı" olmaktan çok "veri güdümlü" olduğuna işaret eder. Tabii ki Bayesian bilgilendirici olmayan önceliklere işaret edebilir …

15 bayesian  inference  likelihood  likelihood-ratio  frequentist