İstatistikler ve Büyük Veri

Eğer p(x)p(x)p(x) ile sıfır olmayan değerlere sahip bir olasılık dağılımıdır [0,+∞)[0,+∞)[0,+\infty) hangi tip (ler için,) p(x)p(x)p(x) bir sabit vardır halen mevcut c>0c>0c\gt 0 öyle ki ∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2tüm0<ϵ<10<ϵ<10\lt\epsilon\lt 1? Yukarıdaki eşitsizlik aslında dağılımı p(x)p(x)p(x)ve sıkıştırılmış bir versiyonu arasında bir Kullback-Leibler Farklılığıdır (1+ϵ)p(x(1+ϵ))(1+ϵ)p(x(1+ϵ)){(1+\epsilon)}p({x}{(1+\epsilon)}). Bu eşitsizliğin Üstel, Gama ve Weibull …

12 probability  stochastic-processes  kullback-leibler  probability-inequalities 

Word2vec'in CBOW ve skip-gram modellerinde, negatif örnekleme sık kelimeler için daha iyi olurken, hiyerarşik softmax'ın neden nadir kelimeler için daha iyi olduğunu merak ediyorum. Https://code.google.com/p/word2vec/ adresinde hak talebini okudum .

12 natural-language  word2vec  word-embeddings  softmax 

R 2 a d j u s t e d düzenlemesiyle ilgili olarak bu metnin ilk sayfasının altında yapılan ifadeyi merak ediyorumR2adjustedRadjusted2R^2_\mathrm{adjusted} R2adjusted=1−(1−R2)(n−1n−m−1).Radjusted2=1−(1−R2)(n−1n−m−1).R^2_\mathrm{adjusted} =1-(1-R^2)\left({\frac{n-1}{n-m-1}}\right). Metin şunu belirtmektedir: Ayarlamanın mantığı şöyledir: sıradan çoklu regresyonda, rastgele bir tahminci yanıtın varyasyonunun ortalama oranını açıklar , böylece rastgele tahmin ediciler birlikte ortalama olarak yanıtın …

12 regression  expected-value  goodness-of-fit  r-squared 

Gauss sürecinin (GP) türevinin başka bir GP olduğuna inanıyorum ve bu yüzden GP'nin türev denklemleri için kapalı form denklemleri olup olmadığını bilmek ister miyim? Özellikle, kare üslü (Gaussian olarak da adlandırılır) kovaryans çekirdeğini kullanıyorum ve Gaussian sürecinin türevi hakkında tahminlerde bulunmak istiyorum.

12 stochastic-processes  gaussian-process  derivative 

Arka plan: Burada, bir sonucun gerçekleşme olasılığını tahmin eden modellerin nasıl kalibre edileceğine dair bazı harika sorular / cevaplar bulunmaktadır. Örneğin Brier puanı ve çözüm, belirsizlik ve güvenilirliğe ayrışması . Kalibrasyon grafikleri ve izotonik regresyon . Bu yöntemler genellikle öngörülen olasılıklar üzerinde bir binning yönteminin kullanılmasını gerektirir, böylece sonucun (0, …

12 probability  predictive-models  binary-data  calibration  scoring-rules 

Bir sigorta ortamında hasar sayısı modelini modellerken, Poisson ile başladım, ancak aşırı dağılım olduğunu fark ettim. Bir Quasi-Poisson, temel Poisson'dan daha büyük ortalama varyans ilişkisini daha iyi modelledi, ancak katsayıların hem Poisson hem de Quasi-Poisson modellerinde aynı olduğunu fark ettim. Bu bir hata değilse, neden oluyor? Quasi-Poisson'u Poisson'a göre kullanmanın …

12 r  count-data  poisson-regression  overdispersion  quasi-likelihood 

Welch'in t-testini kullanarak ortalamaların eşitliğini test ediyorum. Temeldeki dağılım normalden uzaktır ( buradaki ilgili tartışmadaki örnekten daha eğiktir ). Daha fazla veri elde edebilirim, ancak bunun ne ölçüde yapılacağını belirlemenin ilkeli bir yolunu istiyorum. Örneklem dağılımının kabul edilebilir olduğunu değerlendirmek için iyi bir buluşsal yöntem var mı? Normallikten hangi sapmalar …

12 normal-distribution  t-test  bootstrap  central-limit-theorem  approximation 

Python'da sıralı bir lojistik regresyon yapmak istiyorum - üç seviyeli ve birkaç açıklayıcı faktörlü bir cevap değişkeni için. statsmodelsPaket ikili logit ve Çok terimli logit (MNLogit) modellerini değil, sipariş edilen logit destekler. Temel matematik o kadar farklı olmadığından, bunları kullanarak kolayca uygulanıp uygulanamayacağını merak ediyorum. (Alternatif olarak, çalışan diğer Python …

12 categorical-data  python  logit  ordered-logit  statsmodels 

Başlıkta belirtildiği gibi, rastgele 4 kart çekersem ve aynı desteden 6 çekerseniz, en yüksek kartımın en yüksek kartınızı geçme olasılığı nedir? Farklı destelerden çekersek bu nasıl değişecek? Teşekkürler!

12 probability  maximum 

Montgomery, Peck ve Vining'in Doğrusal Regresyon Analizine Giriş'i kullanarak doğrusal regresyon öğreniyorum . Bir veri analizi projesi seçmek istiyorum. Doğrusal regresyonun sadece açıklayıcı değişkenler ile yanıt değişkeni arasında doğrusal fonksiyonel ilişkiler olduğundan şüphelenildiğinde uygun olduğuna dair saf bir düşüncem var. Ancak pek çok gerçek dünya uygulaması bu kriteri karşılamıyor gibi …

12 regression  data-transformation  model  linear  regression-strategies 

Soruya ve cevaplarına atıfta bulunuyorum: Lojistik regresyondan geliştirilen modellerin tahmin yeteneği nasıl karşılaştırılır? @Clark Chong ve @Frank Harrell tarafından cevaplar / yorumlar. ve Hosmer-Lemeshow testinde serbestlik dereceleriχ2χ2\chi^2 ve yorumlar. Ben kağıt okuma var Medicine, Vol DW Hosmer, T. Hosmer, S. Le Cessie, S. Lemeshow, "lojistik regresyon modeli için iyilik-of-fit testlerin …

12 hypothesis-testing  logistic  predictive-models  regression-strategies  hosmer-lemeshow-test 

Çoktan bire yaklaşım olan duyarlılık analizi yapmak için bir RNN / LSTM kullandığımı varsayalım ( bu bloga bakınız ). Ağ, zaman içinde kesilmiş bir geri yayılım (BPTT) ile eğitilir; burada ağ, her zamanki gibi son 30 adımda açılır. Benim durumumda sınıflandırmak istediğim metin bölümlerimin her biri, açılmakta olan 30 adımdan …

12 neural-networks  deep-learning  natural-language  backpropagation 

I , için açıklayıcı değişkenlerinin bir panelinin yanı sıra ikili sonucuna bağlı değişkenlerin bir vektörüne sahip olduğunu . Bu nedenle , daha önceki bir zamanda değil , yalnızca son zamanında gözlenir . Tamamen genel durum, her seferinde her birim için için birden fazla , ama kısalık için durumuna odaklanalım . …

12 regression  machine-learning  reinforcement-learning 

Çalıştığım bir kadın, bazı veriler üzerinde tek yönlü bir ANOVA yapmamı istedi. Verilerin tekrarlanan ölçümler (zaman serileri) verileri olduğunu ve bağımsızlık varsayımının ihlal edildiğini düşündüm. Varsayımlar hakkında endişelenmemem gerektiğini söyledi, sadece testi yapın ve varsayımların karşılanamayacağını dikkate alacaktı. Bu bana doğru gelmedi. Biraz araştırma yaptım ve David Robinson'ın bu harika …

12 assumptions 

Makine öğreniminde yeniyim, bu yüzden bazı literatür bulmaya çalışıyorum ama ne için Google'dan emin olamıyorum. Verilerim aşağıdaki biçimde: User A performs Action P User B performs Action Q User C performs Action R ... User C performs Action X User A performs Action Y User B performs Action Z ... …

12 machine-learning  cross-correlation