İstatistikler ve Büyük Veri

İki zaman serisinin çapraz korelasyonundan (ccf fonksiyonu) elde edilen farklı gecikmelerdeki korelasyonların anlamlı olup olmadığını nasıl anlarsınız?

13 r  statistical-significance  cross-correlation 

% 95 CI (güven aralıkları) ile "VEYA" sunan bir sürü makalem var. Makalelerden gözlemlenen OR için P değerini tahmin etmek istiyorum. Bunun için OR dağılımı ile ilgili bir varsayım lazım. Hangi dağıtımı güvenli bir şekilde üstlenebilir / kullanabilirim?

13 distributions  odds-ratio 

Her bir numunenin T-testinin varsayımlarına uyduğu iki bağımsız örnek arasındaki farkı test etmek için iki örnekli bir T testi yapmak istiyorum (her dağılımın bağımsız olduğu ve eşit varyansla aynı şekilde normal olarak dağıtıldığı varsayılabilir) . Temel iki örnekli T testinin tek komplikasyonu verinin ağırlıklandırılmasıdır. Ağırlıklı araçlar ve standart sapmalar kullanıyorum, …

13 t-test 

Birisi bana momentler yöntemi ile GMM (genel momentler yöntemi) arasındaki ilişkiyi, ilişkilerini ve biri ya da diğerinin ne zaman kullanılması gerektiğini açıklayabilir mi?

13 estimation  method-of-moments  generalized-moments 

Kısa süre önce kendime öğretmeye başladım Makine Öğrenimi ve Veri Analizi Kendimi büyük veri kümeleri oluşturma ve sorgulama ihtiyacı üzerine bir tuğla duvara çarptım. Mesleki ve kişisel hayatımda topladığım verileri almak ve analiz etmek istiyorum, ancak aşağıdakileri yapmanın en iyi yolundan emin değilim: Bu verileri nasıl saklamalıyım? Excel? SQL? ?? …

13 data-mining  dataset  eda 

Bu sorunun cevabı burada zaten var : Geri yayılım algoritması (2 cevap) 4 ay önce kapalı . Geri yayılma algoritması nedir ve nasıl çalışır?

13 algorithms  optimization  neural-networks 

SVM hakkında sahip olduğum sınırlı bilgi ile, kısa ve şişman bir veri matrisi (birçok özellik ve çok fazla örnek değil) iyidir , ancak büyük veriler için iyi değildir.XXX Ben bir nedeni Çekirdek Matrix anlamak bir olduğunu matrisi, verilerdeki durumlarda sayısıdır. 100K verisi varsa, çekirdek matrisi elemente sahip olacak ve ~ …

13 machine-learning  svm  large-data 

Çok büyük bir lineer regresyon problemi üzerinde çalışıyorum, veri boyutu o kadar büyük ki bir makine kümesinde saklanmaları gerekiyor. Tüm örnekleri tek bir makinenin belleğine (hatta diske) toplamak çok büyük olacak Bu verileri regresyon yapmak için, paralel bir yaklaşım düşünüyorum, yani her bir kutuda regresyon çalıştırın ve daha sonra her …

13 regression  linear  large-data 

Bir sürü param için ızgara araması yaptım. İkili sınıflandırma yapan bir Keras sinir ağı için en iyi parametreleri bulmaya çalışıyorum. Çıktı 1 veya 0'dır. Yaklaşık 200 özellik vardır. Bir ızgara araması yaptığımda, bir sürü model ve parametreleri aldım. En iyi model şu parametrelere sahipti: Epochs : 20 Batch Size : …

13 machine-learning  cross-validation  deep-learning  tensorflow  theano 

İşte onu kullanan bir keras kodu örneği: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

13 neural-networks  regularization  conv-neural-network  optimization 

Şirketimde A / B testlerinin sonuçlarını (web sitesi varyasyonlarında çalıştırılır) sunmaktan sorumluyum. Testi bir ay boyunca yürütüyoruz ve daha sonra, anlamlılığa ulaşana kadar (veya testi uzun süre çalıştırdıktan sonra önem kazanılmazsa vazgeçene kadar) p değerlerini düzenli aralıklarla kontrol ediyoruz, şimdi öğrendiğim bir şey yanlış bir uygulamadır . Bu uygulamayı şimdi …

13 hypothesis-testing  statistical-significance  bias  ab-test  optimal-stopping 

İstatistikleri öğrenirken bu iki ifade beni çok karıştırdı. Bana öyle geliyor ki tamamen farklı şeyler. Bir rasgele örneklem bir oysa rastgele bir nüfustan bir örnek almaktır rastgele değişken gerçek sayıya bir deneyin tüm olası sonuçların kümesini eşleştiren bir işlevi gibidir. Bazı numuneler çekmek Ancak, ki , , ve , ve …

13 mathematical-statistics  random-variable  terminology  sample 

Sorum şu gerçeğe dayanıyor. Makine öğrenimi ile ilgili yayınların yanı sıra bloglar, dersler ve kitaplar okuyorum. Benim izlenimim, makine öğrenimi uygulayıcılarının, istatistikçilerin / ekonometrilerin önem verdiği birçok şeye kayıtsız görünmeleridir. Özellikle, makine öğrenimi uygulayıcıları çıkarım üzerine tahmin doğruluğunu vurgular. Böyle bir örnek Andrew Ng'nin Coursera'da Machine Learning'i alırken oldu . …

13 machine-learning  self-study  inference 

Lojistik regresyonun web'deki tıklama oranlarını tahmin etmek için sıklıkla kullanılmasının nedenlerinden birinin, iyi kalibre edilmiş modeller üretmesi olduğunu anlıyorum. Bunun için iyi bir matematiksel açıklama var mı?

13 regression  logistic 

Eğilim skor eşleştirmesi gözlemsel çalışmalarda nedensel çıkarımlar yapmak için kullanılır (bakınız Rosenbaum / Rubin makalesi ). Neden çalıştığının ardındaki basit sezgi nedir? Başka bir deyişle, neden tedaviye katılma olasılığının iki grup için eşit olduğundan emin olursak, karıştırıcı etkiler ortadan kalkar ve sonucu tedavi hakkında nedensel sonuçlar çıkarmak için kullanabiliriz?

13 causality  regression-strategies  propensity-scores  confounding