İstatistikler ve Büyük Veri

26 özellikli ve 31000 satırlı bir veri setim var. 38 deneğin veri kümesidir. Biyometrik bir sistem içindir. Bu yüzden konuları tanımlayabilmek istiyorum. Bir test setine sahip olmak için, bazı değerleri kaldırmam gerektiğini biliyorum. Peki ne yapmak daha iyi ve neden? (a) 30 kişiyi eğitim seti olarak saklayın ve 8 kişiyi …

11 machine-learning  cross-validation  out-of-sample 

İle oynamak Boston Konut Verisetinin ve RandomForestRegressor(w / varsayılan parametreleri) Garip bir şey fark, scikit-öğrenme: ortalama çapraz doğrulama puanı azaldı My çapraz doğrulama stratejisi olarak oldu şu 10 öteye kıvrımları sayısını artırdı olarak: cv_met = ShuffleSplit(n_splits=k, test_size=1/k) scores = cross_val_score(est, X, y, cv=cv_met) ... neredeydi num_cvs. Ben set test_sizeiçin 1/num_cvsk …

11 machine-learning  cross-validation  random-forest  sample-size  scikit-learn 

R paketi mclustküme modeli seçimi için bir ölçüt olarak BIC kullanır. Anladığım kadarıyla, en düşük BIC'ye sahip bir model diğer modellere göre seçilmelidir (sadece BIC'yi önemsiyorsanız). Ancak, BIC değerlerinin tümü negatif olduğunda, Mclustişlev varsayılan olarak en yüksek BIC değerine sahip olan modeldir. Çeşitli denemelerden elde ettiğim genel anlayış, mclust"en iyi" …

11 r  clustering  gaussian-mixture  bic  model-based-clustering 

İki (veya daha fazla) lognormal rasgele değişkenin toplamının neden gözlem sayısını artırdıkça lognormal bir dağılıma yaklaştığını anlamaya çalışıyorum. Çevrimiçi baktım ve bununla ilgili herhangi bir sonuç bulamadım. Açıkça, ve bağımsız lognormal değişkenler ise, üslerin özellikleri ve gauss rastgele değişkenleri ile, değeri de lognormaldir. Bununla birlikte, de lognormal olduğunu öne sürmek …

11 distributions  lognormal  convolution  sum 

Benim sorum R 'yerleşik üstel rasgele sayı üreteci, fonksiyonu esinlenerek rexp(). Üstel olarak dağıtılmış rasgele sayılar oluşturmaya çalışırken, birçok ders kitabı bu Wikipedia sayfasında ana hatlarıyla belirtildiği gibi ters dönüştürme yöntemini önerir . Bu görevi yerine getirmenin başka yöntemleri olduğunun farkındayım. Özellikle, R'nin kaynak kodu Ahrens & Dieter (1972) tarafından …

11 r  simulation  random-generation  exponential  inverse-cdf 

CLT'nin karakteristik fonksiyonları kullanmadığına dair herhangi bir kanıt var mı, daha basit bir yöntem mi? Belki Tikhomirov veya Stein'ın yöntemleri? Bağımsız bir şey bir üniversite öğrencisine (matematik veya fizik birinci yılı) açıklayabilir ve birden fazla sayfa alır?

11 mathematical-statistics  central-limit-theorem  characteristic-function 

Maaş dağılımım var ve erkekler ve kadınlar için ortalamalar arasındaki farkı karşılaştırmak istiyorum. İki yöntemi karşılaştırmak için öğrenci T testi olduğunu biliyorum ama ANOVA'yı önerdikten sonra ANOVA'nın ikiden fazla yolu karşılaştırmak için olduğunu söyleyen bazı eleştiriler aldım. , (Varsa) 'dir yanlış sadece 2 vasıtanın karşılaştırılması için kullanarak?

11 hypothesis-testing  anova  t-test 

İki farklı sualtı görsel sayım yöntemi kullanırken balık yoğunluğu ve balık türü zenginliği farklılıklarına bakmak için araştırma yapıyorum. Verilerim aslında verileri sayıyordu, ancak genellikle bu balık yoğunluğuna değiştirildi, ancak hala umarım doğru olan bir Poisson GLM kullanmaya karar verdim. model1 <- glm(g_den ~ method + site + depth, poisson) 3 …

11 r  generalized-linear-model  poisson-distribution  offset 

Aşağıdaki kodu kullanarak sahtekarlık tespiti için bir sınıflandırıcı (Karar ağacı, rastgele orman, lojistik regresyon gibi standart sınıflandırıcılardan herhangi biri olabilir) varsayalım library(randomForest) rfFit = randomForest(Y ~ ., data = myData, ntree = 400) # A very basic classifier Say, Y is a binary outcome - Fraud/Not-Fraud Şimdi, görünmeyen bir veri …

11 classification  supervised-learning 

Bireysel seviye paneli verileriyle fark modelinde bir fark belirlemenin doğru yolu nedir? Kurulum: Birkaç yıl boyunca şehirlere gömülü bireysel düzey panel verilerim olduğunu ve tedavinin şehir yılı düzeyine göre değiştiğini varsayalım. Resmi olarak izin bireysel için sonucun şehir içinde ve yılı ve olsun müdahale etkilenen şehrin bir kukla olmak de …

11 econometrics  panel-data  fixed-effects-model  difference-in-difference 

Profimiz, çoklu doğrusal regresyonun matematiğine, hatta geometrik temsilini ele geçirmiyor ve bu beni biraz karıştırdı. Bir yandan , daha yüksek boyutlarda bile, hala çoklu doğrusal regresyon denir . Öte yandan, örneğin ve ve için istediğimiz değerleri ekleyebilirsek , bu bize olası çözümlerin bir düzlemini vermez mi? ve bir çizgi değil?x1x2Y^= …

11 multiple-regression  high-dimensional 

Çok sezonluk bir zaman dizisi olan yarım saatlik talep verilerim var. Kullandığım tbatsiçinde forecastR paketin ve bunun gibi sonuçlar aldık: TBATS(1, {5,4}, 0.838, {<48,6>, <336,6>, <17520,5>}) Bu, serinin Box-Cox dönüşümünü kullanmak zorunda olmadığı ve hata teriminin ARMA (5, 4) ve 6, 6 ve 5 terimlerinin mevsimselliği açıklamak için kullanıldığı anlamına …

11 r  time-series  diagnostic  multiple-seasonalities  tbats 

Boyuna verileri modellemek için herhangi bir makine öğrenme tekniği (denetimsiz) olup olmadığını merak ediyordum. Her zaman karışık efekt modelleri kullandım (çoğunlukla doğrusal olmayan) ama bunu yapmanın başka bir yolu olup olmadığını merak ettim (makine öğrenimini kullanarak). Makine öğrenimi ile, rastgele orman, sınıflandırma / kümeleme, karar ağaçları ve hatta derin öğrenme …

11 machine-learning  mixed-model 

Enerji ve hava stokları arasında bir model arıyorum. Avrupa ülkeleri arasında satın alınan MWatt'ın fiyatı ve hava durumu (Grib dosyaları) üzerinde çok fazla değer var. 5 yıllık bir sürede (2011-2015) her saat. Fiyat / gün Bu bir yıl boyunca günlüktür. Bunu 5 yılda saat başı var. Hava örneği Bir saat …

11 time-series  forecasting  predictive-models  modeling  large-data 

Daha önce bir ML kursu aldım, ancak şimdi ML ML ile ilgili projelerle işimde çalıştığım için, aslında uygulamak için biraz uğraşıyorum. Eminim yaptığım şeyler daha önce araştırılmış / ele alınmıştır, ancak belirli konuları bulamıyorum. Çevrimiçi bulduğum tüm makine öğrenimi örnekleri çok basittir (örneğin Python'da bir KMeans modelinin nasıl kullanılacağı ve …

11 machine-learning  references  train  application