İstatistikler ve Büyük Veri

: Aşağıdaki kurmak farz edelim . Ayrıca . Ayrıca yani , ilgili desteklerin sınırlarının dışbükey bir kombinasyonudur. , tüm için ortaktır .Zi=min{ki,Xi},i=1,...,nZi=min{ki,Xi},i=1,...,nZ_i = \min\{k_i, X_i\}, i=1,...,nXi∼U[ai,bi],ai,bi>0Xi∼U[ai,bi],ai,bi>0X_i \sim U[a_i, b_i], \; a_i, b_i >0ki=cai+(1−c)bi,0<c<1ki=cai+(1−c)bi,0<c<1k_i = ca_i + (1-c)b_i,\;\; 0 k_i) = 1- \Pr(X_i \le k_i) =1−ki−aibi−ai=1−(1−c)(bi−ai)bi−ai=c=1−ki−aibi−ai=1−(1−c)(bi−ai)bi−ai=c= 1- \frac {k_i - a_i}{b_i-a_i} …

9 distributions  central-limit-theorem  censoring  minimum 

Tek bir prosedürle analizi tamamlamanın kolaylığından başka bir sebep demek istiyorum.

9 anova 

Hastanın yaşının (yıl olarak ölçülen bir tamsayı miktarı) öngörücü değişkenlerden biri olduğu öngörücü bir maliyet modeli üzerinde çalışıyorum. Yaş ve hastanede kalış riski arasında doğrusal olmayan güçlü bir ilişki açıktır: Hasta yaşı için bir regresyon düzeltme spline'ı cezalandırmayı düşünüyorum. İstatistiksel Öğrenmenin Unsurlarına göre (Hastie ve diğerleri, 2009, s.151), optimal düğüm …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

Judea Pearl'ün "Nedensellik" i (ikinci baskı 2009) okuyorum ve 1.1.5 Koşullu Bağımsızlık ve Grafoitler bölümünde şöyle diyor: Koşullu bağımsızlık ilişkisi (X_ || _Y | Z) tarafından karşılanan özelliklerin (kısmi) bir listesi aşağıdadır. Simetri: (X_ || _ Y | Z) ==> (Y_ || _X | Z). Ayrışma: (X_ || _ YW …

9 self-study  bayesian 

Null değerinin reddedilmesinin null değerinin doğru olduğunu ima ettiği açıktır. Ama bir durumda sıfır red edilmez ve ilgili güven aralığı (CI) dar olup, bu kanıt sağlamaz etrafında 0 merkezli nerede için boş? İki fikrim var: Evet, pratikte bu, etkinin az ya da çok olduğuna dair kanıt sağlayacaktır. Bununla birlikte, katı …

9 hypothesis-testing  statistical-significance  confidence-interval 

Şu anda Hackerlar için Olasılıksal Programlama ve Bayesian Yöntemleri "kitabını" okuyorum . Birkaç bölüm okudum ve pymc ile ilk örnek metin mesajları bir cadı noktası tespit oluşan ilk Bölüm üzerinde düşünüyordum. Bu örnekte, anahtarlama noktasının ne zaman gerçekleştiğini gösteren rastgele değişken ile gösterilir . MCMC adımından sonra posterior dağılımı verilir:ττ\tauττ\tau …

9 probability  mcmc  pymc  change-point 

Bir sınıflandırma probleminin çözümü için tipik bir yaklaşım, bir aday model sınıfını tanımlamak ve daha sonra çapraz doğrulama gibi bir prosedür kullanarak model seçimi yapmaktır. Tipik olarak, en yüksek doğruluktaki modeli veya gibi soruna özgü bilgileri kodlayan ilgili bir işlevi seçer .FβFβ\text{F}_\beta Nihai hedefin, doğru bir sınıflandırıcı (doğruluk tanımının tekrar …

9 machine-learning  model-selection  error  scoring-rules 

Bugün bir sunumda konuşmacı yukarıdaki iddiayı dile getirdi. İlk aşama yanlış tanımlansa bile, ikinci aşamanın katsayı tahminlerinin hala geçerli olacağını söyledi. Düşük lisansüstü bir öğrenci olarak bir açıklama isteyemedim, bu yüzden şimdi yardımınız için yalvardım!

9 econometrics  2sls 

Kruschke's Doing Bayesian Veri Analizi , özellikle de Poisson üstel ANOVA örnekleri üzerinden çalışıyorum . 22, ki bu sıklık tabloları için sık sık ki-kare bağımsızlık testlerine bir alternatif olarak sunmaktadır. Değişkenler bağımsız olsaydı (HDI sıfırı hariç tuttuğunda) beklenenden daha fazla veya daha az gerçekleşen etkileşimler hakkında nasıl bilgi aldığımızı görebilirim. …

9 r  bayesian  effect-size  contingency-tables 

Laboratuvarımın çalıştırmak istediği çalışmalara çok benzer bir çalışmayı bildiren bir makale verildi. Ancak, ilgi değişkeni olan Süre için, SD'lerin ortalamadan daha büyük olduğunu fark ettim ... çünkü bu dakika cinsinden ölçülen süre asla negatif olamaz ve bu benim için çok garip görünüyor. Bu durumun bildirildiği 2 çalışmada gerçekleşti. Bunun ötesinde, …

9 standard-deviation  power-analysis 

Bunun cevabı yaptığı yorumda sorusuna , bu modelin seçiminde AIC kullanılarak 0.154 bir p-değeri kullanılarak eşdeğer olduğu belirtildi. Ben tam bir şartname değişkenleri dışarı atmak için bir "geriye" alt küme seçim algoritması kullanılan R, denedim. Birincisi, en yüksek p-değerine sahip değişkeni sırayla dışarı atarak ve tüm p-değerleri 0.154'ün altında olduğunda …

9 model-selection  p-value  aic 

verildiğinde , koşullu dağıtım. ve ise \ düzeyi ^ 2 (2n) . N'nin marjinal dağılımı var. Poisson ( \ theta ), \ theta pozitif bir sabittir.N=nN=nN = nYYYχ2(2n)χ2(2n)\chi ^2(2n)NNNθθ\thetaθθ\theta Bu Şekli θ→∞θ→∞\theta \rightarrow \infty , (Y−E(Y))/Var(Y)−−−−−−√→N(0,1) (Y−E(Y))/Var⁡(Y)→N(0,1)\space \space (Y - E(Y))/ \sqrt{\operatorname{Var}(Y)} \rightarrow N(0,1) dağılımı. Herkes bunu çözmek için stratejiler …

9 self-study  poisson-distribution  conditional-probability  convergence  central-limit-theorem 

DüşününXn=⎧⎩⎨1- 12kwp ( 1 -2- n) / 2wp ( 1 -2- n) / 2wp 2- k için k > nXn={1w.p. (1−2−n)/2−1w.p. (1−2−n)/22kw.p. 2−k for k>nX_n = \begin{cases} 1 & \text{w.p. } (1 - 2^{-n})/2\\ -1 & \text{w.p. } (1 - 2^{-n})/2\\ 2^k & \text{w.p. } 2^{-k} \text{ for } k …

9 probability  self-study  central-limit-theorem  moments  asymptotics 

Herhangi bir regresyon modeline dahil edilecek seyrek temel bileşenlerin sayısını seçme yaklaşımları konusunda deneyimi olan var mı?

9 pca  sparse  regression-strategies 

Bölünmüş bir pazarlama hunisi sunan Moz'taki bu yayını gördüm : Bu tür şeyler benim işimde oldukça değerli olurdu. Hiçbir fikrim yok böyle bir segmentli huni göstermek için ham verileri nasıl görselleştirmek olduğunu. Fikir, satış olası satışlarının (verileri segmentlere ayırmak için kullandığımız) farklı kaynaklardan gelmesi ve bir anlaşmaya dönüştükleri sırada birkaç …

9 data-visualization  python  funnel-plot