İstatistikler ve Büyük Veri

X ve Y'nin bağımsız rasgele değişkenler olduğu f fonksiyonunun, yani ortalamasını tahmin etmek istiyorum . F örnekleri var ama iid değil: Y 1 , Y 2 , … Y n için iid örnekleri vardır ve her Y i için X : X i , 1 , X i , 2 …

10 variance  unbiased-estimator  estimators 

Ben bir olasılık tablosunda bağımsızlığı test ediyorum . G-testi veya Pearson ki-kare testinin daha iyi olup olmadığını bilmiyorum . Örnek boyutu yüzlercedir ancak bazı düşük hücre sayıları vardır. Wikipedia sayfasında belirtildiği gibi , ki-kare dağılımına yaklaşım, G-testi için Pearson'un ki-kare testinden daha iyidir. Ama p-değerini hesaplamak için Monte Carlo simülasyonunu …

10 chi-squared  p-value  monte-carlo  contingency-tables 

Fisher veya Stouffer'ın p-değerlerini birleştirme yöntemini uygulayan bir R paketi (hatta bir temel R işlevi) var mı? Bunu kodlamak neredeyse önemsiz olmalı, ancak bir paket kullanmayı tercih ediyorum. Bu sorudaki örnek kod: Fisher'ın p değerlerini tarama yöntemi - alt kuyruk ne olacak?

10 r  combining-p-values 

Eğer varsa, bir çizginin birden fazla ayrı "deney" e uydurulması, daha sonra uygunlukların ortalaması veya ayrı deneylerden verilerin ortalaması alındıktan sonra ortalama verilerin uydurulması arasında. Açıklayayım: Aşağıda gösterilen bir eğri oluşturan bilgisayar simülasyonları yapıyorum. Bir miktar çıkarırız, grafiğin doğrusal bölgesini (uzun zamanlar) takarak buna "A" diyelim. Değer basitçe doğrusal bölgenin …

10 error  fitting  average 

Temel bileşen analizi '(PCA) klasik yolu bunu sütunların sıfır ortalaması olan bir giriş veri matrisinde yapmaktır (o zaman PCA "varyansı en üst düzeye çıkarabilir"). Bu sütunları ortalayarak kolayca gerçekleştirilebilir. Bununla birlikte, giriş matrisi seyrek olduğunda, ortalanmış matris artık daha seyrek olacaktır ve - eğer matris çok büyükse - artık belleğe …

10 pca  algorithms  dimensionality-reduction  large-data  sparse 

Sürekli bir rastgele değişkenin beklenen değerini aynı rv bir fonksiyonu olarak ilişkilendirmek için genel bir formülün nerede olduğunu merak ediyordum. Rv beklenen değeri XXXşu şekilde tanımlanır: ve nicelikler şu şekilde tanımlanır: için . Q p X = { x : F X ( x ) = p } = F …

10 expected-value  quantiles  quantile-regression 

Kategorik değişkenlerin kanıt ağırlığı (WOE) dönüşümü ne zaman yararlıdır? Örnek, WOE dönüşümünde görülebilir (Yani bir yanıt için , ve bir kategorik prediktörü k kategorileri ve y J üzerinden başarıları n j olan çalışmalarda j Bu belirleyicisi kategorisi inci için WOE j inci kategori olarak tanımlanmaktadıryyykkkyjyjy_jnjnjn_jjjjjjj günlükyjΣkjyjΣkj( nj- yj)nj- yjgünlük⁡yjΣjkyjΣjk(nj-yj)nj-yj\log \frac{y_j} …

10 logistic  categorical-data  regression-strategies 

Bu soru Robert Hogg'un Matematik İstatistiklerine Giriş 6. Sürüm problemi 7.4.9 sayfa 388'den alınmıştır. Let X1,...,XnX1,...,XnX_1,...,X_n PDF ile istatistiksel bağımsız olarak f(x;θ)=1/3θ,−θ<x<2θ,f(x;θ)=1/3θ,−θ<x<2θ,f(x;\theta)=1/3\theta,-\theta0 . (a) mle bul İçeride ISTV melerin RWMAIWi'nin ait İçeride ISTV melerin RWMAIWi'ninθ^θ^\hat{\theta}θθ\theta (b) var θ için yeterli bir istatistik İçeride ISTV melerin RWMAIWi'nin ? Neden ?θ^θ^\hat{\theta}θθ\theta (c) …

10 self-study  maximum-likelihood  order-statistics  sufficient-statistics  umvue 

Gördüğüm kadarıyla, bu konuda görüşler farklı. En iyi uygulama, çapraz doğrulamayı kullanmayı dikte eder (özellikle RF'leri aynı veri kümesindeki diğer algoritmalarla karşılaştırırsanız). Öte yandan, orijinal kaynak, model eğitimi sırasında OOB hatasının hesaplandığının test seti performansının bir göstergesinin yeterli olduğunu belirtir. Trevor Hastie bile, nispeten yakın tarihli bir görüşmede "Rastgele Ormanlar …

10 cross-validation  random-forest  overfitting  out-of-sample 

Ben okuyordum: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Ama formülün neden böyle inşa edildiğini tam olarak anlayamıyorum. Ne Anlıyorum: iDF bir düzeyde belgelerin her birinde S teriminin ne sıklıkta göründüğünü ölçmeli ve terim daha sık göründükçe değeri düşmelidir. Bu açıdan iDF(S)=# of Documents# of Documents containing SiDF(S)=# of Documents# of Documents containing S iDF(S) = …

10 machine-learning  clustering  mathematical-statistics  text-mining  natural-language 

Bir ARMA modelini durum-uzay-modeli olarak ifade etmenin ve Kalman filtresi kullanarak tahmin yapmanın avantajları nelerdir? Bu yöntem, örneğin python-istatistik modellerinin SARIMAX uygulamasında kullanılır: https://github.com/statsmodels/statsmodels/tree/master/statsmodels/tsa/statespace

10 forecasting  arma  kalman-filter  state-space-models  statsmodels 

R ve JAGS kullanarak bir meta-analiz için oldukça karmaşık bir hiyerarşik Bayesian modeli oluşturuyorum. Biraz basitleştirmek, modelin iki temel seviyeleri vardır burada olan inci gözlem son nokta (bu durumda, GM vs GM olmayan ekin verimleri) çalışma içinde j , \ alpha_j çalışması için etkisidir j , \ gama ler çeşitli …

10 autocorrelation  multilevel-analysis  mcmc  jags 

Geçmişte, regresyonların (ve panel modelleri veya GLM'ler gibi ilgili modellerin) gözlemsel verilerde (yani kontrollü deney tarafından üretilmeyen veriler) kullanıldığı bir dizi alanda yayınlanmış makalelerle ilgili olarak bana sorulan bir dizi sorum vardı. , birçok durumda - ancak her zaman değil - zaman içinde gözlemlenen veriler), ancak enstrümantal değişkenleri tanıtmak için …

10 regression  references  instrumental-variables  observational-study 

Birisi bana bu tür bir diyagramın (varsa) adının ne olduğunu söyleyebilir mi? Ayrıca, herkes böyle basit bir diyagram çizmek için basit, ancak herhangi bir araç önerebilir?

10 categorical-data  proportion 

Ne zaman bir RNN veya CNN antrenman yaparken gradyan kırpma yapmak istersiniz? Özellikle ikincisiyle ilgileniyorum. Kırpma için iyi bir başlangıç ​​değeri ne olabilir? (elbette ayarlanabilir)

10 deep-learning