İstatistikler ve Büyük Veri

İstatistiklerde şu sonucu zaten gördüğümden neredeyse eminim ama nerede olduğunu hatırlayamıyorum. Eğer pozitif bir rastgele değişken ve bir sonra olduğunda , burada bir cdf'si .E ( X ) &lt; ∞ ε F - 1 ( 1 - ε ) → 0XXXE(X) &lt; ∞E(X)&lt;∞\mathbb{E}(X)<\inftyεF-1( 1 - ε ) → 0εF-1(1-ε)→0\varepsilon F^{-1}(1-\varepsilon) …

10 references  quantiles  cdf  moments 

Terminolojinin hafifçe kötüye kullanılması için özür dilerim; Umarım aşağıda ne demek istediğimi netleştiririz. Rastgele bir değişken düşünün . Hem ortalama hem de ortanca bir iyimserlik kriteri ile karakterize edilebilir: Ortalama, E'yi ( ( X - μ ) 2 ) en aza indiren sayı μ ve E'yi ( | X - …

10 mean  median 

Bu nedenle, y∗1y1∗y_1^* gizli gözlemlenmemiş değişken olduğu ve in gözlendiği ikili bir modelim var . belirler ve böylece benim alettir. Kısacası model. Hata terimleri bağımsız olmadığından, y1∈{0,1}y1∈{0,1}y_1 \in \{0,1\}y2y2y_2y1y1y_1z2z2z_2y∗1y2y1===δ1z1+α1y2+u1δ21z1+δ22z2+v2=zδ+v21[y∗&gt;0]y1∗=δ1z1+α1y2+u1y2=δ21z1+δ22z2+v2=zδ+v2y1=1[y∗&gt;0]\begin{eqnarray} y_1^*&=& \delta_1 z_1 + \alpha_1 y_2 + u_1 \\ y_2 &=& \delta_{21} z_1 + \delta_{22}z_2 + v_2 = \textbf{z}\delta + v_2 …

10 maximum-likelihood  econometrics  probit 

Başlıkta önerildiği gibi. Varsayalım X1, X2, … , XnX1,X2,…,XnX_1, X_2, \dotsc, X_n pdf sürekli iid rasgele değişkenlerdir fff . X1≤ X2… ≤ XN-- 1&gt; XN-X1≤X2…≤XN−1&gt;XNX_1 \leq X_2 \dotsc \leq X_{N-1} > X_N , olayını düşünün N-≥ 2N≥2N \geq 2, bu nedenle N-NN , sekansın ilk kez azaldığı zamandır. O halde …

10 probability  self-study  iid 

Bir durum düşünün: Üç mayının tarihsel kayıtlarımız (20 yıl) var. Gümüşün varlığı gelecek yıl altın bulma olasılığını artırıyor mu? Böyle bir soru nasıl test edilir? Örnek veriler: mine_A &lt;- c("silver","rock","gold","gold","gold","gold","gold", "rock","rock","rock","rock","silver","rock","rock", "rock","rock","rock","silver","rock","rock") mine_B &lt;- c("rock","rock","rock","rock","silver","rock","rock", "silver","gold","gold","gold","gold","gold","rock", "silver","rock","rock","rock","rock","rock") mine_C &lt;- c("rock","rock","silver","rock","rock","rock","rock", "rock","silver","rock","rock","rock","rock","silver", "gold","gold","gold","gold","gold","gold") time &lt;- seq(from = 1, to = 20, …

10 r  time-series  hypothesis-testing  stochastic-processes 

Ön eğitimin konvansiyonel eğitim ile ilgili bazı sorunlardan kaçınmak için kullanıldığını anlıyorum. Ben bir otoencoder ile backpropagation kullanırsanız, backpropagation yavaş olduğu için zaman sorunları ile karşılaşacağımı biliyorum ve ayrıca yerel optima sıkışmış olabilir ve bazı özellikleri öğrenmek değil. Anlamadığım şey, bir ağı nasıl önişlediğimiz ve ön işlem yapmak için özel …

10 machine-learning  neural-networks  backpropagation  rbm  pre-training 

Ben bir matris , benim içeren N = 20 numuneleri D = 100 boyutlu alan. Şimdi Matlab'da kendi temel bileşen analizimi (PCA) kodlamak istiyorum. Ben küçük düşürmek X için X_0 ilk.X N = 20 D = 100 X X 020×10020×10020\times100XXXN=20N=20N=20D=100D=100D=100XXXX0X0X_0 Birinin kodundan, gözlemlerden daha fazla boyuta sahip olduğumuz senaryolarda, artık …

10 pca 

R( lme4Paket) içindeki doğrusal karma efektler modelinde post-hoc testler yapıyorum . Post-hoc testleri yapmak için multcomppackage ( glht()function) kullanıyorum . Deneysel tasarımım rastgele blok etkisi ile tekrarlanan ölçümlerdir. Modeller şöyle belirtilir: mymod &lt;- lmer(variable ~ treatment * time + (1|block), data = mydata, REML = TRUE) Verilerimi buraya iliştirmek yerine …

10 mixed-model  post-hoc  lsmeans  lme4-nlme 

Finansal ve sigorta alanlarında analistim ve volatilite modellerine uymaya çalıştığımda korkunç sonuçlar elde ediyorum: artıklar genellikle durağan değil (birim kök anlamında) ve heteroskedastiktir (bu yüzden model volatiliteyi açıklamamaktadır). ARCH / GARCH modelleri belki başka tür verilerle çalışıyor mu? Bazı noktaları açıklığa kavuşturmak için 17/04/2015 15:07 tarihinde düzenlendi.

10 time-series  garch  volatility-forecasting  arch 

Birden fazla karşılaştırma probleminde yeni gelen biriyim. Holm-Bonferroni yöntemi için güven aralıklarının nasıl hesaplanacağını merak ediyorum. Ben Bonferroni yöntemi için biz sadece gelen güven düzeyini değiştirebileceğini biliyor için .1 - α1−α1−α1-\alpha1−αm1−αm1-\frac{\alpha}{m} Bu yöntem Holm-Bonferroni için de geçerli mi? Edit:Edit:\bf{Edit}: Görünüşe göre HB yöntemi conf düzeltmek için bir prosedür sağlamaz. Aralık. …

10 multiple-comparisons  bonferroni 

Geçenlerde harika PCA'yı öğrendim ve scikit-öğren belgelerinde ana hatlarıyla verilen örneği yaptım . Sınıflandırma amacıyla PCA'yı yeni veri noktalarına nasıl uygulayabileceğimi bilmek istiyorum. PCA'yı 2 boyutlu bir düzlemde (x, y ekseni) görselleştirdikten sonra, muhtemelen bir tarafı bir sınıflandırma diğeri başka bir sınıflandırma olacak şekilde veri noktalarını ayırmak için bir çizgi …

10 classification  pca  scikit-learn 

Karşı bir örnek kanıtlayın veya sağlayın: Eğer , o zamanXnXnX_n →a.s.→a.s.\,{\buildrel a.s. \over \rightarrow}\, XXX(∏ni=1Xi)1/n(∏i=1nXi)1/n(\prod_{i=1}^{n}X_i)^{1/n} →a.s.→a.s.\,{\buildrel a.s. \over \rightarrow}\, XXX Girişimim : YANLIŞ: yalnızca negatif değerler alabileceğini veXXXXn≡XXn≡XX_n \equiv X ∀∀\forall nnn SONRA , ancak için bile , kesin olarak olumsuz değildir. Bunun yerine, negatif ile pozitif ve negatif arasında …

10 self-study  convergence  geometric-mean 

Şu anda bir meta-analiz üzerinde çalışıyorum, hangi ben örnekleri içinde iç içe birden çok efekt boyutları analiz gerekir. Diğer olası stratejilerden (örneğin, bağımlılığı görmezden gelmek, çalışmalar içindeki etki boyutlarını ortalamak, bir etki boyutunu seçmek veya analiz biriminin değiştirilmesi). Bağımlı etki büyüklüklerimin çoğu, oldukça farklı (ancak topikal olarak ilişkili) değişkenler içeren …

10 multilevel-analysis  meta-analysis  meta-regression  publication-bias 

Üç değişken göz önüne alındığında yve xsürekli pozitif olan ve zkategorik olan iki aday modelim var: fit.me &lt;- lmer( y ~ 1 + x + ( 1 + x | factor(z) ) ) ve fit.fe &lt;- lm( y ~ 1 + x ) Hangi modelin daha uygun olduğunu belirlemek için …

10 r  hypothesis-testing  mixed-model  lme4-nlme 

Bir AR (1) ile rastgele bir yürüyüş tahmin ettiğimde, katsayı 1'e çok yakın ama her zaman daha az. Katsayının birden fazla olmamasının matematik nedeni nedir?

10 regression  autoregressive  random-walk