İstatistikler ve Büyük Veri

Şu anda Larry Wasserman'ın "Tüm İstatistikler" i okuyorum ve parametrik olmayan modellerin istatistiksel işlevlerini tahmin etme bölümünde yazdığı bir şeyden şaşkınım. O yazdı "Bazen bazı hesaplamalar yaparak istatistiksel bir işlevin tahmini standart hatasını bulabiliriz. Ancak diğer durumlarda standart hatanın nasıl tahmin edileceği açık değildir". Bir sonraki bölümde bu konuyu ele …

16 self-study  estimation  bootstrap  standard-error 

entegre etmek istediğim bir fonksiyonum olduğunu varsayın Tabii ki 'nin uç noktalarda sıfıra gittiğini varsayarsak , patlama olmaz, güzel işlev. I ile ilgilenmek oldum bir yolu örnekleri bir listesini oluşturmak için Metropolis- Hastings yapısı kullanmaktır dağılımından orantılı için normalleştirme sabit eksik, N = \ int _ {- \ infty} ^ …

16 simulation  monte-carlo  metropolis-hastings  numerical-integration 

Aylık tahmin hesaplamasını otomatikleştirmek için R'de bir alogorithm üzerinde çalışıyorum. Diğerlerinin yanı sıra, tahmin hesaplamak için tahmin paketinden ets () işlevini kullanıyorum. Çok iyi çalışıyor. Ne yazık ki, bazı belirli zaman serileri için elde ettiğim sonuç tuhaf. Lütfen, kullandığım kodun altında bulabilirsiniz: train_ts<- ts(values, frequency=12) fit2<-ets(train_ts, model="ZZZ", damped=TRUE, alpha=NULL, beta=NULL, …

16 r  time-series  forecasting  exponential-smoothing 

Bu konuda hala hızlanmaya çalıştığım için şimdiden özür dilerim. Benim nöron aktivasyon fonksiyonu için tanh (harita -1 1) vs sigmoid (harita 0 1) kullanarak artılarını ve eksilerini anlamaya çalışıyorum. Okuduğumdan beri, marjinal farklılıklarla küçük bir şey gibi geldi. Sorunlarım için pratikte sigmoidin eğitilmesinin daha kolay olduğunu ve garip bir şekilde …

16 neural-networks 

Verilerimiz normalde çok değişkenli ise PCA bileşenleri (temel bileşen analizinde) istatistiksel olarak bağımsız mıdır? Eğer öyleyse, bu nasıl kanıtlanabilir / kanıtlanabilir? Soruyorum çünkü en iyi cevabın belirttiği bu yayını gördüm : PCA açık bir Gaussian varsayımı yapmaz. Verilerde açıklanan varyansı en üst düzeye çıkaran özvektörleri bulur. Temel bileşenlerin dikliği, verilerdeki …

16 pca  independence  svd 

Kısmi en küçük kareler regresyonunda (PLSR) veya kısmi en küçük kareler yapısal eşitlik modellemesinde (PLS-SEM) "kısmi" terimi ne anlama gelir?

16 multiple-regression  least-squares  terminology  sem  partial-least-squares 

Normal dağılım için, aşağıdakiler tarafından verilen standart sapmanın tarafsız bir tahmincisi vardır: σ^unbiased=Γ(n−12)Γ(n2)12∑k=1n(xi−x¯)2−−−−−−−−−−−−√σ^unbiased=Γ(n−12)Γ(n2)12∑k=1n(xi−x¯)2\hat{\sigma}_\text{unbiased} = \frac{\Gamma(\frac{n-1}{2})}{\Gamma(\frac{n}{2})} \sqrt{\frac{1}{2}\sum_{k=1}^n(x_i-\bar{x})^2} Bu sonucun çok iyi bilinmemesinin nedeni , büyük bir ithalat meselesinden ziyade büyük ölçüde bir curio olduğu anlaşılıyor . Kanıt bu konuya dahil edilmiştir ; normal dağılımın temel özelliklerinden yararlanır: 1σ2∑k=1n(xi−x¯)2∼χ2n−11σ2∑k=1n(xi−x¯)2∼χn−12 \frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim …

16 mathematical-statistics  standard-deviation  unbiased-estimator 

Evrişimli sinir ağını öğrenirken, aşağıdaki şekle ilişkin sorularım var. 1) Katman 1'deki C1'in 6 özellik haritası var, bu altı evrişimsel çekirdek olduğu anlamına mı geliyor? Her evrişimsel çekirdek, girdiye dayalı bir özellik haritası oluşturmak için kullanılır. 2) Katman 2'deki S1'in 6 özellik haritası, C2'nin 16 özellik haritası vardır. S1'deki 6 …

16 machine-learning  neural-networks  deep-learning  pattern-recognition  conv-neural-network 

Yaklaşık Bayes hesaplaması , temelde herhangi bir stokastik modele uymak için gerçekten harika bir tekniktir, olasılığın sürdürülemez olduğu modellere yöneliktir (örneğin, parametreleri sabitlerseniz modelden örnekleme yapabilirsiniz, ancak olasılığı sayısal, algoritmik veya analitik olarak hesaplayamazsınız). Bir kitleye yaklaşık Bayes hesaplaması (ABC) eklerken, gerçekten basit ama yine de biraz ilginç ve inatçı …

16 bayesian  simulation  model  likelihood  abc 

Yakın zamanda, güveni ve güvenilir aralıklarında rastgeleliği içeren bir makale okuyordum ve bunun standart olup olmadığını merak ediyordum (ve eğer öyleyse, bunu yapmak neden makul bir şey). Gösterimi ayarlamak için, verilerimizin x∈Xx∈Xx \in X ve parametresi için aralıklar oluşturmakla ilgilendiğimizi varsayalım θ∈Θθ∈Θ\theta \in \Theta. Bir işlev oluşturarak oluşturulan güven / …

16 confidence-interval  credible-interval 

Makine Öğrenmesi: Olasılıksal Bir Bakış (Kevin Murphy) ile makine öğrenimi üzerine çalışıyoruz. Metin her algoritmanın teorik temelini açıklarken, hangi durumda hangi algoritmanın daha iyi olduğunu ve ne zaman olduğunu, hangi durumda olduğumu nasıl söyleyeceğini söylemez. Örneğin, çekirdek seçimi için, verilerimin ne kadar karmaşık olduğunu ölçmek için keşifsel veri analizi yapmam …

16 machine-learning  eda 

Ridge regresyon tahminleri parametreleri doğrusal bir model içinde ile burada \ lambda bir düzenleme parametresidir. İlişkili pek çok yordayıcı olduğunda genellikle OLS regresyonundan ( \ lambda = 0 ile ) daha iyi performans gösterdiği iyi bilinmektedir .y = x β β λ = ( X ⊤ x + λ I …

16 regression  ridge-regression  shrinkage 

Bilgisayar görmedeki uygulamaları nedeniyle evrişimli sinir ağları (CNN) üzerinde çalışıyorum. Standart feed-foward sinir ağlarına zaten aşinayım, bu yüzden burada bazı insanların CNN'leri anlama konusunda ekstra adım atmama yardımcı olabileceğini umuyorum. CNN'ler hakkında şöyle düşünüyorum: Geleneksel ileri beslemeli NN'lerde, her bir öğenin "giriş katmanı" ndaki NN'ye girdiğimiz bir özellik vektöründen oluştuğu …

16 neural-networks  deep-learning  conv-neural-network  convolution 

Bugün bir giriş istatistik dersi verdim ve bir öğrenci bana şu şekilde yeniden sorduğum bir soru ile geldi: "Standart sapma neden N üzerindeki karelerin toplamı sqrt olarak değil, varyans sql olarak tanımlanıyor?" Nüfus varyansını tanımlarız: σ2=1N∑(xi−μ)2σ2=1N∑(xi−μ)2\sigma^2=\frac{1}{N}\sum{(x_i-\mu)^2} Ve standart sapma: σ=σ2−−√=1N√∑(xi−μ)2−−−−−−−−−−√σ=σ2=1N∑(xi−μ)2\sigma=\sqrt{\sigma^2}=\frac{1}{\sqrt{N}}\sqrt{\sum{(x_i-\mu)^2}} . Σ ' ya verebileceğimiz yorumσσ\sigma , popülasyondaki birimlerin X …

16 variance  standard-deviation  intuition  teaching 

"Ward.D" seçeneği tarafından kullanılan (R sürümleri <= 3.0.3'teki tek Ward seçeneği "ward" ile eşdeğer) Ward'ın (1963) kümeleme ölçütünü uygulamazken, "ward.D2" seçeneği bu kriteri uygular ( Murtagh ve Legendre 2014). ( http://stat.ethz.ch/R-manual/R-patched/library/stats/html/hclust.html ) Görünüşe göre ward.D Ward'ın kriterlerini doğru bir şekilde uygulamıyor. Yine de ürettiği kümelenmeler konusunda iyi bir iş çıkarmış …

16 r  clustering  ward