İstatistikler ve Büyük Veri

Degrade düzgün bir oyuncak örneği yaptığımızı varsayalım , sabit adım boyutu kullanarak ikinci dereceden işlevini en aza . ( )xTAxxTAxx^TAxα = 0.03α=0.03\alpha=0.03A=[10,2;2,3]A=[10,2;2,3]A=[10, 2; 2, 3] Her bir yinelemede izini çizersek, aşağıdaki rakamı elde ederiz. Sabit adım boyutu kullandığımızda neden noktalar "daha yoğun" oluyor ? Sezgisel olarak, sabit bir adım boyutuna …

9 r  machine-learning  optimization  gradient-descent 

Karmaşık maksimal karışık modellerle (verilen veri ve model için olası tüm rastgele etkileri tahmin etmek) uğraşırken nadir görülen bir durum mükemmel değildir (+1 veya -1) veya bazı rastgele etkiler arasında neredeyse mükemmel bir korelasyon. Tartışma amacıyla aşağıdaki model ve model özetini inceleyelim Model: Y ~ X*Cond + (X*Cond|subj) # Y …

9 r  correlation  mixed-model  lme4-nlme  covariance-matrix 

İki farklı simetrik (medyan ile ilgili) ve dağılımım varsa , farkı da (medyan ile ilgili) bir simetrik dağılım mıdır?XXXYYYX−YX−YX-Y

9 distributions  median 

Eğer , dağılımını bulmak .X∼ C( 0 , 1 )X~C(0,1)X\sim\mathcal C(0,1)Y=2 X1 -X2Y=2X1-X2Y=\frac{2X}{1-X^2} BizFY( y) = P r ( Y≤ y)FY(y)=Pr(Y≤y)F_Y(y)=\mathrm{Pr}(Y\le y) = P r (2 X1 -X2≤ y)=Pr(2X1-X2≤y)\qquad\qquad\qquad=\mathrm{Pr}\left(\frac{2X}{1-X^2}\le y\right) =⎧⎩⎨⎪⎪⎪⎪⎪⎪P r ( X∈ ( - ∞ ,- 1 -1 +y2√y] ) + P r ( X∈ ( - 1 …

9 self-study  distributions  mathematical-statistics  random-variable 

İzin Vermek X1, … ,Xn∼ U( 0 , 1 )X1,…,Xn∼U(0,1)X_1,\dots,X_n \sim U(0,1) bağımsız ve aynı şekilde dağılmış standart düzgün rasgele değişkenler olabilir. İzin Vermek Yn=ΣbennX2benAradığım: E [Yn--√]Let Yn=∑inXi2I seek: E[Yn]\text{Let }\quad Y_n=\sum_i^nX_i^2 \quad \quad \text{I seek: } \quad \mathbb{E}\big[\sqrt{Y_n } \big] beklentisi kolaydır:YnYnY_n E [X2]E [Yn]=∫10y2y√=13= E [ΣbennX2ben] =ΣbennE [X2ben] …

9 probability  expected-value  uniform  central-limit-theorem  mgf 

Bu yüzden bir olasılık testi yaptım ve bu soruya gerçekten cevap veremedim. Sadece böyle bir şey sordu: " rastgele bir değişken olduğu düşünüldüğünde , , daha yüksek veya eşit olanı kanıtlamak için doğru eşitsizliği kullanın, veya .XXXXXX ⩾⩾\geqslant 000E(X2)3E(X2)3E(X^2)^3E(X3)2E(X3)2E(X^3)^2 Düşünebildiğim tek şey Jensen Eşitsizliği idi, ama burada nasıl uygulanacağını gerçekten …

9 probability  self-study  probability-inequalities 

Mu ve bağımsızlığını ima eder mi?Cov(f(X),Y)=0∀f(.)CÖv(f(X),Y)=0∀f(.)\mathbb{Cov} \left(f(X),Y\right) = 0 \; \forall \; f(.)XXXYYY Sadece ve arasındaki aşağıdaki bağımsızlık tanımına aşinayım .XXXYYY fx,y(x,y)=fx(x)fy(y)fx,y(x,y)=fx(x)fy(y) f_{x,y}(x,y) = f_x(x)f_y(y)

9 random-variable  independence 

'İstatistiksel Öğrenmenin Unsurları' nda, doğrusal modelin sapma-varyans ayrışması ifadesi burada gerçek hedef fonksiyonudur, , modelindeki rastgele hatanın varyansıdır ve lineer tahmin olan .Er r (x0) =σ2ε+ E[ f(x0) - Ef^(x0)]2+ | | h (x0) ||2σ2ε,Err(x0)=σϵ2+E[f(x0)−Ef^(x0)]2+||h(x0)||2σϵ2,Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,f(x0)f(x0)f(x_0)σ2εσϵ2 \sigma_\epsilon^2y= f( x ) + ϵy=f(x)+ϵy=f(x)+\epsilonf^( x )f^(x)\hat f(x)f( x )f(x)f(x) Varyans terimi burada …

9 regression  linear-model  bias-variance-tradeoff 

Casella ve Berger , ML tahmincisinin değişmez özelliğini şu şekilde belirtir: Ancak bana öyle geliyor ki "olasılığını" tamamen ad hoc ve saçma bir şekilde tanımlıyorlar :ηη\eta olan basit durum için temel olasılık teorisi kurallarını uygularsam , bunun yerine şunu elde ederim: Şimdi Bayes teoremini uyguluyor, sonra ve toplamı uygulayabilmemiz için …

9 self-study  bayesian  maximum-likelihood  frequentist  invariance 

Ben yaklaşık 5.000 ile ilişkili özellikleri / ortak değişkenleri ve ikili bir yanıt ile bir veri kümesi var. Veriler bana verildi, ben toplamadım. Modeller oluşturmak için Kement ve gradyan güçlendirme kullanıyorum. Yinelenen, iç içe çapraz doğrulamayı kullanıyorum. Lasso'nun en büyük (mutlak) 40 katsayısını ve degrade artırılmış ağaçlardaki en önemli 40 …

9 machine-learning  multiple-comparisons  regression-coefficients  lasso  high-dimensional 

Kapalı . Bu sorunun daha fazla odaklanması gerekiyor . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu, yalnızca bu yayını düzenleyerek tek bir soruna odaklanacak şekilde güncelleyin . 28 gün önce kapalı . S1: Genel olarak Takviye öğreniminde sabit olmayan ortamla başa çıkmak için ortak veya kabul …

9 markov-process  reinforcement-learning  stationarity  q-learning 

Let IID ve olmak . Açık görünüyor, ancak resmi olarak türetmekte zorlanıyorum.XiXiX_iX¯=∑ni=1XiX¯=∑i=1nXi\bar{X} = \sum_{i=1}^{n} X_iE[XiX¯]= ?E[XiX¯]= ? E\left[\frac{X_i}{\bar{X}}\right] = \ ?

9 probability  random-variable  expected-value 

Veri noktalarını ya daha karmaşık bir modele ya da daha karmaşık bir modele ihtiyaç duymadan sınıflandırmak istiyorum. Şu anki düşüncem, tüm verileri basit bir doğrusal modele uydurmak ve bu sınıflandırmayı yapmak için artıkların boyutunu gözlemlemektir. Daha sonra hataya olan önyargı ve sapma katkıları hakkında biraz okuma yaptım ve doğrudan önyargı …

9 regression  multiple-regression  residuals  bias-variance-tradeoff 

GLMM'lerin özellikleri ve yorumlanması ile ilgili bazı sorularım var. 3 soru kesinlikle istatistiksel ve 2 daha spesifik olarak R hakkında. Buraya gönderiyorum çünkü nihayetinde sorunun GLMM sonuçlarının yorumlanması olduğunu düşünüyorum. Şu anda bir GLMM takmaya çalışıyorum. Boyuna Tract Veritabanı ABD nüfus sayımı verileri kullanıyorum . Benim gözlemlerim sayım yolları. Bağımlı …

9 r  lme4-nlme  poisson-distribution  negative-binomial  glmm 

XML site haritanızın daha az olduğundan emin olmalıyım % 11%1\%çöp (kırık bağlantılar). URL listesi yüz binlerce, ve hepsini 1'e 1 test etmek mümkün olsa bile, pek çok nedenden dolayı: 1 - Saved bandwidth 2 - Faster traffic for real clients 3 - Less noise in visitor statistics (because my test …

9 probability  confidence-interval  sample-size