İstatistikler ve Büyük Veri

Basit bir gerilemeyi düşünün (normalite kabul edilmez): Yi=a+bXi+ei,Yben=bir+bXben+eben,Y_i = a + b X_i + e_i, nerede eiebene_i kaba 000 ve standart sapma σσ\sigma. En Küçük Kare Tahminleriabira ve bbb ilintisiz?

11 regression  correlation  estimation 

Christopher Bishop, Desen Tanıma ve Makine Öğrenimi kitabında , veriler daha önce seçilen bileşenlere dik bir alana yansıtıldıktan sonra, ardışık her ana bileşenin projeksiyonun varyansını maksimuma çıkardığına dair bir kanıt yazar . Diğerleri de benzer kanıtlar gösteriyor. Bununla birlikte, bu sadece her ardışık bileşenin varyansı en üst düzeye çıkarmak için …

11 machine-learning  variance  pca  dimensionality-reduction  eigenvalues 

F-tedbirinin (hassasiyet ve hatırlamaya dayalı olarak) bir sınıflandırıcının ne kadar doğru olduğunun bir tahmini olduğunu anlıyorum. Ayrıca, dengesiz bir veri setimiz olduğunda , f-ölçüsü doğruluktan daha fazla tercih edilir . Basit bir sorum var (teknolojiden çok doğru terminolojiyi kullanmakla ilgili). Dengesiz bir veri kümem var ve deneylerimde f-ölçü kullanıyorum. Bir …

11 machine-learning  classification  data-mining  unbalanced-classes  accuracy 

Verilerimle bir model oluşturmak için kullanılacak doğru dağıtım hakkında bir sorum var. 50 arsa ile bir orman envanteri yaptım, her arsa 20m × 50m ölçülerinde. Her arsa için, zemini gölgeleyen ağaç gölgelik yüzdesini tahmin ettim. Her çizimin gölgelik örtüsü için yüzde olarak bir değeri vardır. Yüzdeler 0 ila 0.95 arasındadır. …

11 distributions  binomial  gamma-distribution 

Entropiyi hesaplamak için aşağıdaki işlevi uyguladım: from math import log def calc_entropy(probs): my_sum = 0 for p in probs: if p > 0: my_sum += p * log(p, 2) return - my_sum Sonuç: >>> calc_entropy([1/7.0, 1/7.0, 5/7.0]) 1.1488348542809168 >>> from scipy.stats import entropy # using a built-in package # give …

11 mathematical-statistics  python  entropy 

Özellikle Örneklem büyüklüğü belirleme ve İstatistiksel Güç Analizi ile ilgili olarak istatistik bilgilerimi geliştirmeye çalışıyorum. Ama öyle görünüyor ki ne kadar çok okursam o kadar çok okumam gerekiyor. Her neyse G * Power adında ihtiyacım olan her şeyi yapıyor gibi görünen bir araç buldum ama Noncentrality Parametresini anlamada bir sorun …

11 power-analysis  power  non-central 

Doğrusal regresyonun bir varsayımı olarak, hatanın dağılımının normalliği bazen yanlış bir şekilde "genişletilir" veya y veya x'in normalliğine duyulan ihtiyaç olarak yorumlanır. X ve Y'nin normal olmadığı, ancak hata teriminin olduğu ve dolayısıyla elde edilen doğrusal regresyon tahminlerinin geçerli olduğu bir senaryo / veri seti oluşturmak mümkün müdür?

11 regression  linear-model  assumptions 

Temel bileşen analizi ile elde edilen değerlerin bir biplotunu kullanarak, her bir temel bileşeni oluşturan açıklayıcı değişkenleri incelemek mümkündür. Bu Doğrusal Ayırım Analiziyle de mümkün müdür? Sağlanan örneklerde veriler "Edgar Anderson'ın İris Verileri" dir ( http://en.wikipedia.org/wiki/Iris_flower_data_set ). İşte iris verileri : id SLength SWidth PLength PWidth species 1 5.1 3.5 …

11 r  pca  multivariate-analysis  discriminant-analysis  biplot 

Yukarıdan kart karıştırmayı simüle etmek için bir program yazdım . Her kart numaralandırılır, takım elbise başlar CLUBS, DIAMONDS, HEARTS, SPADESve İki ila On arası, ardından Jack, Kraliçe, Kral ve As. Bu yüzden Kulüplerin İkiü 1'e, Kulüpler Üçü 2'ye sahiptir ... Kulüplerin Ası 13'tür ... Maça Ası 52'dir. Kartların ne kadar …

11 correlation  pearson-r  information-theory 

Birden çok veri setindeki çoklu algoritmaların performansını karşılaştırıyorum. Bu performans ölçümlerinin normal olarak dağıtılacağı garanti edilmediğinden, Demšar'a (2006) dayanan Nemenyi post-hoc testiyle Friedman Testini seçtim . Daha sonra, Shaffer post-hoc testiyle Quade testi gibi diğer yöntemleri önermek dışında, Nemenyi testini farklı şekilde uygulayan başka bir makale buldum. Nemenyi post-hoc testini …

11 nonparametric  multiple-comparisons  post-hoc 

Bootstrap kullanarak iki test yöntemi kullanarak anlamlılık testlerinin p değerlerini hesaplarım: sıfır hipotezi altında yeniden örnekleme ve sonuçları en azından orijinal verilerden elde edilen sonuç kadar sayma alternatif hipotez altında yeniden örnekleme ve sonuçların en azından orijinal hipoteze karşılık gelen değer olarak sıfırdan gelen hipoteze karşılık gelen değer kadar sayılması …

11 statistical-significance  bootstrap  p-value 

Bir epidemiyolog / biyoistatist için nedensellik / nedensel çıkarım felsefesini öğrenmesi için ilginç ve yararlı olabilecek herhangi bir kitap, makale, deneme, çevrimiçi öğretici / kurs vb. Önerebilir misiniz? Aslında bir epi ve biyostats çerçevesinden nedensel çıkarım yapmak hakkında biraz şey biliyorum, ama bu çalışmanın altında yatan ve motive eden felsefe …

11 references  causality  philosophical 

İki günlük veri serim var. Biri sign-upsdiğeri terminationsise abonelikler. Her iki değişkente bulunan bilgileri kullanarak ikincisini tahmin etmek istiyorum. Bu serinin grafiğine bakıldığında, sonlandırmaların aylar öncesindeki kayıtların katları ile ilişkili olduğu açıktır. Yani, 10 Mayıs'taki kayıtlarda bir artış, 10 Haziran, 10 Temmuz ve 10 Ağustos'ta fesihlerde artışa neden olacak, ancak …

11 r  time-series  seasonality  var 

Hayatta kalma analizleri üzerine biraz okuyorum ve çoğu ders kitabı h(t)=limΔt→0P(t&lt;T≤t+Δt|T≥t)Δt=f(t)1−F(t)(1)h(t)=limΔt→0P(t&lt;T≤t+Δt|T≥t)Δt=f(t)1−F(t)(1)h(t)= \lim_{ \Delta t \rightarrow 0} \frac{P(t < T \leq t+\Delta t |T \geq t )}{ \Delta t} =\frac{f(t)}{1-F(t)} (1) burada h(t)h(t)h(t) tehlike oranıdır, f(t)=limΔt→0P(t&lt;T≤t+Δt)Δt(2)f(t)=limΔt→0P(t&lt;T≤t+Δt)Δt(2)f(t)=\lim_{\Delta t \rightarrow 0} \frac{P(t < T \leq t+\Delta t)}{ \Delta t}(2) yoğunluk fonksiyonu, F( t …

11 survival 

Ridge Regresyonu burada öngörülen etikettir , , matris tanımlamak biz için bir etiket bulmaya çalışıyorsanız nesne ve matrisi nesnelerin şöyle:y^=(X′X+aId)−1Xxy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}xy^y^\hat{y}IdId\mathbf{I}_dd×dd×dd \times dxx\mathbf{x}XX\mathbf{X}n×dn×dn \times dnnnxi=(xi,1,...,xi,d)∈Rdxi=(xi,1,...,xi,d)∈Rd\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d X=⎛⎝⎜⎜⎜⎜⎜x1,1x2,1⋮xn , 1x1 ,2x2 ,2⋮x1 , 2……⋱...x1 , dx2 , d⋮xn , d⎞⎠⎟⎟⎟⎟⎟X=(x1,1x1,2…x1,dx2,1x2,2…x2,d⋮⋮⋱⋮xn,1x1,2…xn,d) \mathbf{X} = \begin{pmatrix} x_{1,1} …

11 regression  ridge-regression  kernel-trick