İstatistikler ve Büyük Veri

Ben de Empirical Bayes'e giriş yapan harika bir kitabı okudum . Kitabın harika olduğunu düşünmüştüm, ancak verilerden öncelikler oluşturmak yanlış hissettim. Bir analiz planı hazırlamanız ve ardından veri toplamanız ve daha önce analiz planınızda belirlediğiniz hipotezi test etmeniz konusunda eğitildim. Bunu daha önce toplayan verilere ilişkin bir analiz yaptığınızda, sizi …

24 machine-learning  hypothesis-testing  bayesian  empirical-bayes 

Gereğince bu ve bu cevap, autoencoders boyut azaltılması için sinir ağları kullanan bir tekniktir görünmektedir. Ek olarak, değişken bir otomatik kodlayıcının ne olduğunu ("geleneksel" otomatik kodlayıcılara göre başlıca farklılıkları / faydaları) ve bu algoritmaların kullanıldığı ana öğrenme görevlerinin ne olduğunu bilmek isterim.

24 machine-learning  bayesian  deep-learning  autoencoders  variational-bayes 

Kuantil regresyonu anlamaya çalışıyorum, fakat beni acı çeken bir şey, kayıp fonksiyonunun seçimi. ρτ(u)=u(τ−1{u&lt;0})ρτ(u)=u(τ−1{u&lt;0})\rho_\tau(u) = u(\tau-1_{\{u<0\}}) beklentisinin -quantile değerine eşit olduğunu biliyorum, ancak bu işlevle başlamak için sezgisel neden nedir? Bu işlevi minimize etmek ile nicelik arasındaki ilişkiyi görmüyorum. Biri bana açıklayabilir mi?ρτ(y−u)ρτ(y−u)\rho_\tau(y-u)τ%τ%\tau\%

24 quantiles  loss-functions  quantile-regression 

Tahmini modelleme açısından karma modellerin avantajları konusunda biraz kafam karıştı. Tahmini modeller genellikle daha önce bilinmeyen gözlemlerin değerlerini öngörmek anlamına geldiğinden, karışık bir modelin faydalı olmasının tek yolunun popülasyon düzeyinde tahminler sağlama yeteneği (rastgele etkiler eklemeden) anlamına geldiği açıktır. Ancak, sorun şu ana kadar ki deneyimlerime göre, karışık modellere dayalı …

24 mixed-model  predictive-models 

Negatif binom (NB) dağılımı , negatif olmayan tamsayılarda tanımlanır ve olasılık kütle fonksiyonuAynı formülle tanımlanan negatif olmayan gerçekler üzerinde sürekli bir dağılım düşünmek mantıklı mıdır (yerine k \ in \ mathbb N_0 yerine x \ in \ mathbb R _ {\ ge 0} )? Binom katsayısı, herhangi bir gerçek k …

24 distributions  negative-binomial  count-data  continuous-data  bioinformatics 

Karar ağacı veri yapısını ve algoritmasını kimin icat ettiğini bulmaya çalışıyorum. Karar ağacı öğrenimine ilişkin Wikipedia girişinde "ID3 ve CART'ın aynı anda bağımsız olarak icat edildiği (1970 ile 1980 arasında)" iddiası var. ID3 daha sonra sunuldu: Quinlan, JR 1986. Karar Ağaçlarının İndüksiyonu. Mach. Öğrenin. 1, 1 (Mart 1986), 81-106 bu …

24 cart  history 

Başlık soru. Rasgele değişkenlerin oranlarının ve tersinin çoğu zaman sorunlu olduğu söylendi. Kastedilen, beklentinin çoğu zaman mevcut olmamasıdır. Bunun basit, genel bir açıklaması var mı?

24 probability  distributions  random-variable  expected-value  ratio 

Şu anda bir durum uzayı modeli için bir Markov zinciri Monte Carlo (MCMC) algoritması geliştirmem gereken bir sorun üzerinde çalışıyorum . Sorunu çözebilmem için bana şu durumda : p ( ) = 2I ( &gt; 0) / (1+ ) olasılığı verildi . standart sapması olarak .ττ\tauττ\tauττ\tauτ2τ2\tau^2ττ\tauxxx Şimdi bunun yarı Cauchy …

24 distributions  bayesian  prior  state-space-models  cauchy 

Deep Learning için Adam optimizerini okuyordum ve Bengio, Goodfellow ve Courville tarafından yazılan Deep Learning adlı yeni kitapta şu cümleyi okudum: Adam genel olarak hiper parametrelerinin seçimine oldukça sağlam olarak kabul edilir, ancak öğrenme oranının bazen önerilen varsayılan değerden değiştirilmesi gerekir. eğer bu doğruysa, bu büyük bir sorun çünkü hiper …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

Bilgilendirici olmayan öncelikleri hakkında Bayesian İstatistik kursu için kısa bir teorik makale yazıyorum (Ekonomi Yüksek Lisansında) ve bu teorinin gelişiminde hangi adımların olduğunu anlamaya çalışıyorum. Şimdiye kadar zaman çizelgem üç ana adımdan oluşuyor: Laplace'in kayıtsızlık ilkesi (1812), Değişmeyen Önceler (Jeffreys (1946)), Bernardo referansı (1979). Literatür taramamdan, kayıtsızlık ilkesinin (Laplace), önceden …

24 bayesian  references  prior  history 

Geometrik ortalama ve aritmetik ortalama hakkında birbirlerine çok yakın düşen önemli bir şey var mı, yani ~% 0.1? Böyle bir veri seti hakkında ne gibi varsayımlar yapılabilir? Bir veri setini analiz etmeye çalışıyorum ve ironik bir şekilde değerlerin çok, çok yakın olduğunu fark ettim. Tam değil, ama yakın. Ayrıca, aritmetik …

24 descriptive-statistics  mean  geometric-mean 

Hepimizin bildiği gibi, lojistik regresyon modelini değerlendirmek için 2 yöntem var ve çok farklı şeyler test ediyorlar. Öngörü gücü: Bağımsız değişkenleri temel alarak bağımlı değişkeni ne kadar iyi tahmin edebileceğinizi ölçen bir istatistik edinin. Tanınmış Sahte R ^ 2, McFadden (1974) ve Cox ve Snell'dir (1989). Uygunluk istatistikleri Test, modeli …

24 r  logistic  goodness-of-fit  regression-strategies  model-evaluation 

Yanlış keşif oranını kontrol etmek için tek bir veri setine dayanan deneylere çoklu hipotez testi için Benjamini Hochberg benzeri düzeltmeler uygulamamız gerektiğini biliyoruz, aksi takdirde pozitif sonuç veren tüm deneyler yanlış olabilir. Ama neden bu aynı prensibi, verilerin nereden geldiğine bakılmaksızın, zamanın başından beri tüm deneylere uygulamıyoruz. Sonuçta, yayınlanmış bilimsel …

24 hypothesis-testing  multiple-comparisons  bonferroni  false-discovery-rate 

Bu tekrarlayan bir soru ( bu yazıya , bu yazıya ve bu yazıya bakın ), ancak farklı bir dönüşe sahibim. Genel bir MCMC örnekleyiciden bir grup örneğim olduğunu varsayalım. Her örnek için θθ\theta , log olabilirlik günlükf( x | θ )log⁡f(x|θ)\log f(\textbf{x} | \theta) ve log değerini biliyorum günlükf( θ …

24 machine-learning  bayesian  sampling  mcmc  likelihood 

Metin sınıflandırma için ortak bir yaklaşım, bir “sözcük çantası” ndan bir sınıflandırıcı yetiştirmektir. Kullanıcı sınıflandırılacak metni alır ve her nesnedeki kelimelerin sıklıklarını sayar, ardından elde edilen matrisi yönetilebilir bir büyüklükte tutmak için bir çeşit düzeltme yapılır. Genellikle kullanıcıların TFIDF kullanarak kendi özellik vektörlerini oluşturduklarını görüyorum. Başka bir deyişle, yukarıda belirtilen …

24 machine-learning  classification  text-mining