İstatistikler ve Büyük Veri

Ben istatistiklerine bir acemi değilim ve bulunan bu . İstatistiklerde, Greek, küçük Yunanca 'teta' harfi, bazı genel olasılık dağılımının bir (vektörü) parametresinin (s) genel adıdır. Yaygın bir sorun teta'nın değer (ler) ini bulmaktır. Bir parametreyi bu şekilde adlandırmanın bir anlamı olmadığına dikkat edin. Başka bir şey de diyebiliriz. Aslında, birçok …

16 terminology 

Let boyuta olasılığı simpleks olan , yani gibi olduğu ve \ sum_i x_i = 1 . K - 1 x ∈ Δ K x i ≥ 0 ∑ i x i = 1ΔKΔK\Delta_{K}K- 1K-1K-1x ∈ ΔKx∈ΔKx \in \Delta_{K}xben≥ 0xben≥0x_i \ge 0Σbenxben= 1Σbenxben=1\sum_i x_i = 1 \ Delta_ {K} üzerinden sık …

16 distributions  multinomial  compositional-data 

10 kat çapraz doğrulama ayarında 120 örnek veri kümesi var. Şu anda, ilk yayının eğitim verilerini seçiyorum ve ızgara aramasıyla gama ve C değerlerini seçmek için 5 kat çapraz doğrulama yapıyorum. RBF çekirdeği ile SVM kullanıyorum. Kesinlik, hatırlama bildirmek için on 10 çapraz doğrulama yaptığım için, her kılavuzun eğitim verilerinde …

16 machine-learning  classification  cross-validation  svm 

Let , diğer bir deyişle uygun olarak dağıtılır ortalama sahip olan üç boyutlu Wishart dağılımı ve serbestlik derecesi . için bir ifade istiyorum neredebelirleyicidir.Λ ~ WD( ν, Ψ )Λ~WD(ν,Ψ)\Lambda \sim \mathcal W_D(\nu, \Psi)D × DDxDD \times DνΨνΨ\nu \Psiνν\nuE( log| Λ | )E(günlük⁡|Λ|)E(\log |\Lambda|)| Λ ||Λ||\Lambda| Bunun cevabı için biraz google'landım …

16 distributions  wishart 

İki rastgele değişkenim var, αi∼iid U(0,1),i=1,2αi∼iid U(0,1),i=1,2\alpha_i\sim \text{iid }U(0,1),\;\;i=1,2 buradaU(0,1)U(0,1)U(0,1) eşit 0-1 dağılımıdır. Sonra, bunlar bir süreç verir, örneğin: P(x)=α1sin(x)+α2cos(x),x∈(0,2π)P(x)=α1sin⁡(x)+α2cos⁡(x),x∈(0,2π)P(x)=\alpha_1\sin(x)+\alpha_2\cos(x), \;\;\;x\in (0,2\pi) Şimdi, bir kapalı form ekspresyon olup olmadığını merak F−1(P(x);0.75)F−1(P(x);0.75)F^{-1}(P(x);0.75) teorik yüzde 75 quantile P(x)P(x)P(x) , belirli bir için x∈(0,2π)x∈(0,2π)x\in(0,2\pi) herhalde -I bir bilgisayar ve birçok gerçekleştirmeleri ile yapabilirsiniz …

16 distributions  probability  stochastic-processes 

Denetimli bir ikili sınıflandırma sorunuyla ilgileniyorum. GBM paketini bireyleri virüs bulaşmamış / virüs bulaşmış olarak sınıflandırmak için kullanmak istiyorum. Enfekte olmuş bireylerden 15 kat daha fazla enfekte olmuşum var. Dengesiz sınıf boyutlarında GBM modellerinin acı çekip çekmediğini merak ediyordum. Bu soruyu cevaplayan bir referans bulamadım. Enfekte olmamış kişilere 1, enfekte …

16 r  machine-learning  boosting  unbalanced-classes  gbm 

Bu wikipedia bağlantısı OLS kalıntılarının hetero-esnekliğini tespit etmek için bir takım teknikleri listeler. Hetero-esneklikten etkilenen bölgelerin tespitinde hangi uygulamalı tekniğin daha verimli olduğunu öğrenmek istiyorum. Örneğin, burada OLS 'Residuals vs Fitted' planındaki orta bölgenin, arsanın yanlarından daha yüksek varyansa sahip olduğu görülmüştür (gerçeklerden tam olarak emin değilim, ancak sorunun uğruna …

16 regression  least-squares  heteroscedasticity 

MCMCglmmSon zamanlarda paketi kullanıyorum . Belgelerde R-yapısı ve G-yapısı olarak anılan şeyle kafam karıştı. Bunlar rastgele etkilerle ilişkili gibi görünmektedir - özellikle de önceki dağıtım için parametreleri belirtmekle birlikte, belgelerdeki tartışma okuyucunun bu terimlerin ne olduğunu bildiğini varsaymaktadır. Örneğin: 3 olası öğeye sahip isteğe bağlı önceki özellikler listesi: R (R-yapısı) …

16 r  bayesian  mixed-model  lme4-nlme 

Gauss Süreci hakkında bir şeyler öğreniyorum ve sadece parçaları ve parçaları duydum. Yorum ve cevapları gerçekten takdir ediyorum. Herhangi bir veri kümesi için, Gauss Süreci fonksiyon yaklaşımının veri noktalarında sıfır veya ihmal edilebilir montaj hatası vereceği doğru mu? Başka bir yerde de Gauss Süreci'nin özellikle gürültülü veriler için iyi olduğunu …

16 gaussian-process 

Bu sitedeki yazıları okuduktan sonra ( pakette ) bir R işlevi olduğunu biliyorum . Ben de biliyorum IrishStat , bu sitenin bir üyesi ticari paket inşa autobox 1980'lerin başında. Bu iki paket bugün mevcut olduğundan ve verilen veri setleri için otomatik olarak arima modellerini seçtiklerinden farklı olarak ne yapıyorlar? Aynı …

16 time-series  arima  automatic-algorithms 

8 sınıf veri ile çok sınıflı bir LDA sınıflandırıcısı eğitimi alıyorum . Eğitim yaparken şu uyarıyı alıyorum: " Değişkenler uyumludur " % 90'ın üzerinde bir eğitim doğruluğu elde ediyorum . Ben scytits-learn kütüphane Python do train ve çok sınıflı veri test kullanıyorum. Ben de iyi bir test doğruluğu elde ediyorum …

16 machine-learning  classification  python  scikit-learn  discriminant-analysis 

Parametreleri maksimum olabilirlik tahmini (MLE) kullanarak tahmin etmek, bir dağılım ailesi (P (X = x | θ) üzerinde parametre uzayında (θ) değerler (x) ile meydana gelen örneğin (X) olasılığını haritalayan olabilirlik fonksiyonunun değerlendirilmesini içerir. ) values ​​(not: bu konuda doğru muyum?) üzerinde θ ve X için değer örnektir (bir vektör). …

16 maximum-likelihood 

Şu anda yüksek lisans tezim üzerinde çalışıyorum ve SigmaPlot ile istatistikleri çalıştırmayı planlıyorum. Ancak, verilerimle biraz zaman geçirdikten sonra SigmaPlot benim sorunum için uygun olmayabilir sonucuna geldim (yanılmış olabilir) bu yüzden tam olarak kolaylaştırmadı R, ilk denemeleri başladı. Plan, verilerim üzerinde 3 farklı protein ve 8 farklı tedaviden kaynaklanan basit …

16 r  anova  nonparametric  heteroscedasticity 

Herhangi bir istatistik yapılmadan önce çok fazla temizlik gerektiren dağınık anket verileriyle sık sık ilgilenirim. Bunu Excel'de, bazen Excel formüllerini kullanarak ve bazen girişleri tek tek kontrol ederek yapıyordum. R'de bunları yapmak için komut dosyaları yazarak bu görevlerin gittikçe daha fazlasını yapmaya başladım, ki bu çok yararlı oldu (faydalar yapılanların …

16 r  data-cleaning 

Varsayalım ki ve her çizilir iid ile Dağılımlardan ait bağımsız . kesinlikle olumludur. Tüm gözlemlemek değil ; bunun yerine gözlemlersiniz . Bu bilgiden değerini tahmin etmek istiyorum . Açıkçası tahmin edici tarafsızdır ve eldeki bilgiler göz önüne alındığında hesaplanabilir.w1,w2,…,wnw1,w2,…,wnw_1,w_2,\ldots,w_nx1,x2,...,xnx1,x2,...,xnx_1,x_2,...,x_nwiwiw_ixixix_iwiwiw_iwiwiw_ixixix_i∑ixiwi∑ixiwi\sum_i x_i w_iE[x]E⁡[x]\operatorname{E}\left[x\right]x¯=∑iwixi∑iwix¯=∑iwixi∑iwi \bar{x} = \frac{\sum_i w_i x_i}{\sum_i w_i} Bu tahmin edicinin …

16 standard-error  weighted-mean