İstatistikler ve Büyük Veri

Şu anda parçacık filtrelerini ve bunların finanstaki olası kullanımlarını anlamaya çalışıyorum ve biraz mücadele ediyorum. (İ) partikül filtrelerinin temellerini erişilebilir kılmak ve (ii) daha sonra bunları tam olarak anlamak için tekrar gözden geçirmem gereken (nicel finansta bir geçmişten gelen) matematiksel ve istatistiksel önkoşullar nelerdir? Henüz ele almadığım durum modelleri hariç, …

10 time-series  particle-filter 

Varsayalım gelen iid ve izin ifade 'den inci en küçük elemanı . iki ardışık eleman arasındaki oranın beklenen maksimum oranını nasıl daha üst sınırlara ? Yani, bir üst sınırı nasıl hesaplayabilirsiniz:X1,...,XnX1,...,XnX_1,...,X_nN(μ,σ2)N(μ,σ2)N(\mu,\sigma^2)X(i)X(i)X_{(i)}iiiX1,...,XnX1,...,XnX_1,...,X_nX(i)X(i)X_{(i)} E[maxi=1,...,n−1(X(i+1)X(i))]E[maxi=1,...,n−1(X(i+1)X(i))]E\left[\max\limits_{i=1,...,n-1}\left(\frac{X_{(i+1)}}{X_{(i)}}\right)\right] Bulabildiğim literatür çoğunlukla iki rasgele değişken arasındaki orana odaklanıyor ve bu da ilişkisiz iki normal dağılım için pdf'nin …

10 expected-value  order-statistics  ratio  maximum 

Sinir ağını belirli bir tarzda resim çizmek için eğitmek mümkün mü? (Bu yüzden bir görüntü alır ve eğitildiği bir tarzda yeniden çizer.) Böyle bir şey için onaylanmış bir teknoloji var mı? DeepArt algoritmasını biliyorum. Ana görüntüyü belirli bir desenle doldurmak iyidir (örneğin, vangoghify görüntüsü), ancak farklı bir şey arıyorum - …

10 machine-learning  neural-networks  deep-learning 

Hipotez testinde yaygın bir soru popülasyon varyansı nedir? Sorum şu: Nüfus varyansını nasıl bilebiliriz? Tüm dağılımı biliyor olsaydık , tüm nüfusun ortalamasını da biliriz . O zaman hipotez testinin anlamı nedir?

10 hypothesis-testing  variance  t-test  z-test 

482 gözlemden oluşan bir veri setim var. data=Populationfull 3 SNP için bir genotip ilişkilendirme analizi yapacağım. Benim analiz için bir model oluşturmak için çalışıyorum ve aov (y ~ x, veri = ...) kullanarak Im. Bir özellik için, modele dahil ettiğim birkaç sabit efekt ve ortak değişkenim var, şöyle: Starts <- …

10 r  anova 

Let X1,X2,…,X3nX1,X2,...,X3nX_1, X_2, \ldots, X_{3n} , bir örneklenmiş Rasgele değişkenlerin bir dizisi alfa sabit dağılımı parametreleri ile, α=1.5,β=0,c=1.0,μ=1.0α=1.5,β=0,c=1.0,μ=1.0\alpha = 1.5, \; \beta = 0, \; c = 1.0, \; \mu = 1.0 . Şimdi dizisini düşünün Y1,Y2,…,YnY1,Y2,...,YnY_1, Y_2, \ldots, Y_{n}, burada Yj+1=X3j+1X3j+2X3j+3−1Yj+1=X3j+1X3j+2X3j+3-1Y_{j+1} = X_{3j+1}X_{3j+2}X_{3j+3} - 1 , j=0,…,n−1j=0,…,n−1j=0, \ldots, n-1 …

10 probability  self-study  monte-carlo  convergence  order-statistics 

Makine öğrenimi dersimde, LASSO regresyonunun özellik seçimini gerçekleştirmede ne kadar iyi olduğunu öğrendik, çünkü regülasyonunu kullanıyor .l1l1l_1 Benim sorum: İnsanlar normalde LASSO modelini sadece özellik seçimi yapmak için mi kullanıyorlar (ve daha sonra bu özellikleri farklı bir makine öğrenme modeline dökmeye devam ediyorlar) mı yoksa tipik olarak hem özellik seçimini …

10 feature-selection  lasso  regression-strategies 

İki kategorik / nominal değişkenim var. Her biri sadece iki farklı değer alabilir (bu yüzden toplamda 4 kombinasyonum var). Her değer kombinasyonu bir dizi sayısal değerle birlikte gelir. Yani 4 numaram var. Daha somut hale getirmek için, sahip olduğum male / femaleve young / oldnominal değişkenler olduğumuzu weightve bağımlı sayısal …

10 hypothesis-testing  p-value  nonparametric  permutation-test 

İki örnek için Kullback-Leibler Diverjansının sayısal bir tahminini uygulamaya çalıştım. Uygulamada hata ayıklamak için örnekleri iki normal dağılımdan ve çizin .N ( 1 , 2 )N-( 0 , 1 )N-(0,1)\mathcal N (0,1)N-( 1 , 2 )N-(1,2)\mathcal N (1,2) Basit bir tahmin için iki histogram oluşturdum ve integrali sayısal olarak tahmin …

10 estimation  intuition  kullback-leibler  numerics 

Ortalama formülün eşdeğeri var mı: mean=1N∑i=1NXimean=1N∑i=1NXi\begin{equation} \mathrm{mean} = \cfrac{1}{N} \sum_{i=1}^{N} X_i \end{equation} medyan için mi?

10 median  definition 

Doğrusal regresyonda, hataların y'nin öngörülen değerine bağlı olarak normal olarak dağıtıldığı varsayılmaktadır. Sonra artıklara hatalar için bir tür vekil olarak bakıyoruz. Genellikle böyle çıktı üretmek için tavsiye edilir: . Ancak, her veri noktası için kalıntıyı elde etmenin ve bunu tek bir grafikte birleştirmenin ne anlama geldiğini anlamıyorum. Her bir öngörülen …

10 regression  assumptions 

Bir örnek olarak, sık sık Gözlenen biliyorum öğrencileri karşılaşmak Nüfus bir yanlı kestiricisi olduğu . Daha sonra raporlarını yazarken şöyle şeyler söylerler:R2R2R^2R2R2R^2 "Gözlenen ve Düzeltilmiş hesapladım ve oldukça benzerdi, bu da elde ettiğimiz Gözlenen değerinde sadece küçük bir önyargı olduğunu gösteriyor."R2R2R^2R2R2R^2R2R2R^2 Genellikle önyargı hakkında konuştuğumuzda, tipik olarak belirli tahminlerden ziyade …

10 mathematical-statistics  terminology  bias  estimators 

PCA'da, ters kovaryans matrisinin temel bileşenlerini seçersek VEYA büyük özdeğerlere karşılık gelen kovaryans matrisinin özvektörlerini düşürürsek bir fark yaratır mı? Bu, bu yayındaki tartışma ile ilgilidir .

10 machine-learning  pca  computational-statistics 

Kısa soru: Şişman parmak dağılımı var mı? Eminim eğer varsa, o zaman farklı bir isme sahiptir. Analitik bir fonksiyon olarak nasıl formüle edileceğini bilmiyorum. Mevcut bir sürümünü bulmama veya dev bir simülasyondan daha temiz bir şeyle formüle etmeye başlamama yardımcı olabilir misiniz? Belirli bir sayı amaçlanan hedef olduğunda gerçekten çarpılan …

10 distributions  simulation 

İstatistiklere biraz girmeye çalışıyorum, ama bir şeye sıkıştım. Verilerim aşağıdaki gibidir: Year Number_of_genes 1990 1 1991 1 1993 3 1995 4 Şimdi verilere dayanarak herhangi bir yıl için gen sayısını tahmin edebilmek için bir regresyon modeli oluşturmak istiyorum. Şimdiye kadar doğrusal regresyon ile yaptım, ama biraz okuma yaptım ve bu …

10 regression  count-data  poisson-regression