İstatistikler ve Büyük Veri

Lojistik regresyonun gücü ve t testi eşdeğeri midir? Eğer öyleyse, "veri yoğunluğu eşdeğeri" olmalıdır, bu da demek oluyor ki aynı sayıda temel gözlem, .05 sabit alfa verildiğinde aynı gücü verir. İki durumu düşünün: [Parametrik t-testi]: Binom gözleminden 30 çekim yapılır ve elde edilen değerlerin ortalaması alınır. Bu A grubu için …

18 logistic  t-test  power  power-analysis 

Sürekli bir veri dağılımını gözle görülür bir şekilde görmek istiyorsak, histogram ve pdf arasında hangisi kullanılmalıdır? Histogram ve pdf arasındaki formül değil, farklar nelerdir?

18 distributions  pdf  histogram 

Oldukça çok doğrusal verilerde sırt regresyonunu kullanıyorum. OLS kullanarak çoklu doğrusallık nedeniyle katsayılarda büyük standart hatalar alıyorum. Sırt regresyonunun bu sorunla başa çıkmanın bir yolu olduğunu biliyorum, ancak baktığım sırt regresyonunun tüm uygulamalarında, katsayılar için rapor edilen standart hatalar yok. Belirli katsayıların standart hatalarını ne kadar düşürdüğünü görerek sırt regresyonunun …

18 standard-error  ridge-regression 

R için ez paketinin yazarıyım ve ANOVA'ların çıkışına otomatik olasılık oranlarını (LR'ler) otomatik olarak hesaplamak için bir güncelleme üzerinde çalışıyorum. Fikir, ANOVA'nın başardığı etkinin testine benzer her etki için bir LR sağlamaktır. Örneğin, ana etki için LR temel etkisi içeren bir modeli için bir boş modeli karşılaştırmasını temsil eder, bir …

18 r  anova  likelihood-ratio 

Sample Entropy ve Shannon Entropy gibi farklı entropi türlerini ve bunların avantajlarını ve dezavantajlarını açıklayan bir kitap veya çevrimiçi kaynak arıyorum. Birisi beni doğru yönde gösterebilir mi?

18 references  entropy 

Daha küçük pencere boyutlarında n log nsıralama işe yarayabilir. Bunu başarmak için daha iyi algoritmalar var mı?

18 algorithms  median 

Bilinmeyen popülasyon standart sapması (sd) ile ortalama güven aralığını (CI) hesaplamak için, t dağılımını kullanarak popülasyon standart sapmasını tahmin ediyoruz. Özellikle, CI=X¯±Z95%σX¯CI=X¯±Z95%σX¯CI=\bar{X} \pm Z_{95\% }\sigma_{\bar X} burada σX¯=σn√σX¯=σn\sigma_{\bar X} = \frac{\sigma}{\sqrt n} . Ancak, popülasyonun standart sapması hakkında nokta tahminimiz olmadığından, tahminimizCI=X¯±t95%(se)CI=X¯±t95%(se)CI=\bar{X} \pm t_{95\% }(se)olup, buradase=sn√se=snse = \frac{s}{\sqrt n} Buna …

18 normal-distribution  confidence-interval  sampling  t-distribution 

Bir miktar adil altı taraflı zar (d6) yuvarlayarak 1'den belirli bir tam sayılar çizmek istiyorum . İyi bir cevap, yönteminin neden düzgün ve bağımsız tamsayılar ürettiğini açıklayacaktır .NNN Açıklayıcı bir örnek olarak, bir çözümün durumunda nasıl çalıştığını açıklamak faydalı olacaktır .N=150N=150N=150 Ayrıca, prosedürün olabildiğince verimli olmasını dilerim: üretilen her sayı …

18 probability  random-generation  uniform  dice 

Bir çok öğretici çevrimiçi degrade inişi hakkında konuşuyor ve neredeyse hepsi sabit bir adım boyutu kullanıyor (öğrenme hızı ). Neden satır aramanın bir faydası yoktur (satır izleme veya tam satır araması gibi)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

Minibatch boyutu büyüdükçe SGD'nin yakınsamasının aslında zorlaştığı / kötüleştiği gibi birçok tartışmadan benzer bir sonuç gördüm, örneğin bu makale ve bu cevap . Ayrıca, erken aşamada küçük öğrenme oranları veya parti boyutları gibi hileler kullanan insanların büyük parti boyutları ile bu zorluğu gidermek için duydum. Ancak bir minibatch ortalama kaybı …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd 

Kitap okuyorum: Piskopos, Örüntü Tanıma ve Makine Öğrenmesi (2006) üstel aileyi formun dağılımları olarak tanımlar (Denk. 2.194): p(x|η)=h(x)g(η)exp{ηTu(x)}p(x|η)=h(x)g(η)exp⁡{ηTu(x)}p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\} Ancak veya üzerinde herhangi bir kısıtlama görmüyorum . Bu , h (\ mathbf x) ve \ mathbf u …

18 mathematical-statistics  exponential-family 

Bir cezası olan lineer regresyonun , katsayılardan önce bir Gaussian verilen MAP tahminini bulmaya eşdeğer olduğu iyi bilinmektedir . Benzer şekilde, bir cezası kullanmak, daha önce olduğu gibi bir Laplace dağılımı kullanmaya eşdeğerdir.l2l2l^2l1l1l^1 ve normalleştirmesinin bazı ağırlıklı kombinasyonlarını kullanmak nadir değildir . Bunun katsayılar üzerindeki önceki dağılımlara eşdeğer olduğunu söyleyebilir …

18 regression  bayesian  regularization  prior  elastic-net 

Hareket davranışları (uyku, hareketsiz ve fiziksel aktivite yapmak için harcanan zaman) hakkında yaklaşık 24 (günde saat cinsinden) olan verilerim var. Bu davranışların her birinde harcanan göreceli zamanı yakalayan bir değişken oluşturmak istiyorum - Bana bunu izometrik bir log-oran dönüşümünün başaracağı söylendi. R ilr işlevini kullanmalıyım gibi görünüyor, ancak kod ile …

18 r  multivariate-analysis  data-transformation  compositional-data 

Bir çağı, mevcut tüm eğitim örneklerinin tamamından geçmiş olarak ve mini-parti boyutunu, degradeyi azaltmak için gereken ağırlık / sapma güncellemelerini bulmak için ortalama örnek sayısı olarak tanımlarız. Benim sorum, bir çığır içindeki her bir mini partiyi üretmek için bir dizi eğitim örneği yerine getirilmememiz gerekip gerekmediğidir. Dönem sonu gereksinimini karşılamak …

18 machine-learning  neural-networks  optimization  deep-learning 

Çekirdek yoğunluk tahmini yaparken en azından teorik anlamda Epanechnikov çekirdeğinin en uygun olduğunu okudum (örneğin burada ). Bu doğruysa, Gaussian neden yoğunluk kestirimi kitaplıklarında varsayılan çekirdek kadar ya da çoğu durumda tek çekirdek kadar sık ​​görünür?

18 nonparametric  kernel-smoothing