İstatistikler ve Büyük Veri

İki hafta önce burada verdiğim bir soruya "cevap" yazıyorum: Jeffreys neden daha önce yararlı? Bu gerçekten bir soruydu (ve ben de o zaman yorum gönderme hakkım yoktu), bu yüzden umarım bunu yapmak için sorun yok: Yukarıdaki bağlantıda, Jeffreys'in daha önce ilginç olan özelliğinin, modeli yeniden parametrelendirirken ortaya çıkan posterior dağılımın, …

17 bayesian  mathematical-statistics  fisher-information  jeffreys-prior  invariance 

"Zaman serileri" neden böyle denir? Seri , bir dizinin toplamı anlamına gelir . Neden zaman serisi değil, zaman serisi? Mı zaman bağımsız değişken?

17 time-series  self-study  references  terminology 

Ham verileri neden standart sapmasına böldüğümüze dair aşağıdaki gerekçeyi (cs229 ders notlarından) okuyordum: açıklamanın ne dediğini anlasam da, standart sapmaya bölünmenin neden böyle bir hedefe ulaşacağı net değil. Herkesin aynı "ölçekte" olması gerektiğini söylüyor. Ancak, bu tamamen açık değil standart sapmaya bölünmenin neden bunu başardığı . Varyansla bölünmenin nesi yanlış? …

17 machine-learning  pca  mathematical-statistics 

Birçok "son teknoloji" çizim paketinin ve temasının ve birçok seçkin veri insanının çizimleri için gri arkaplan kullandığını fark ettim. İşte birkaç örnek: ggplot2: Nate Silver'ın fivethirtyeight.com: Yukarıdaki ilk örnekte (ggplot2), gri arka plan kullanmanın ızgara çizgileri için gereken mürekkebi azalttığı iddia edilebilir, ancak ikinci durumda bu kesinlikle geçerli değildir. Beyaz …

17 data-visualization  ggplot2 

Buna göre wikipedia makalesinde , tek olasılıkların ürünü temsil edebilir x⋅yolarak -log(x) - log(y)sayısal olarak daha optimal olan hesaplamasını yaparak. Ama bir örnek denerseniz şunu söyleyin: p1 = 0.5 p2 = 0.5 p1 * p2 = 0.25 -log(p1) - log(p2) = 2 p3 = 0.1 p4 = 0.1 p3 * …

17 probability  logarithm  arithmetic 

Son yıllarda ekonometriye indirgenmiş form ekonometrisine kıyasla yapısal yaklaşım daha popüler hale gelmiştir. Bu, ilgili parametreleri tahmin etmek için teorik ekonomik modellerin ve istatistiklerin sıkı bir kombinasyonunu içerir. Veri ve istatistik yöntemlerini kullanma şeklimizde daha teorik bir yapı oluşturmak, rehberlik sağlamak ve bazen de azaltılmış form yöntemleri ile kolayca tahmin …

17 econometrics  references 

Diyelim ki normal veri dağıtımı yaptım. Verilerin her bir elemanı için ortalamadan kaç SD olduğunu kontrol etmek istiyorum. Verilerde bir aykırı değer olabilir (muhtemelen sadece bir, ama aynı zamanda iki veya üç olabilir), ancak bu aykırı temelde aradığım şeydir. Şu anda baktığım öğeyi ortalama ve SD'nin hesaplanmasından geçici olarak hariç …

17 cross-validation  standard-deviation  mean  outliers 

Üst düzey yetki 1'de Gibbs Sampling'in Markov Zinciri Monte Carlo örneklemesi için Metropolis-Hastings algoritmasının özel bir örneği olduğunu düşünüyorum. MH algoritması her zaman ayrıntılı denge özelliği ile bir geçiş olasılığı sağlar; Gibbs'ın da olmasını bekliyorum. Peki aşağıdaki basit durumda nerede yanlış yaptım? İki ayrık (basitlik için) değişken üzerinde hedef dağılım …

17 mcmc  gibbs 

Bu benim ilk yazı StackExchange, ama bir süredir kaynak olarak kullanıyorum, uygun formatı kullanmak ve uygun düzenlemeleri yapmak için elimden geleni yapacağım. Ayrıca, bu çok parçalı bir soru. Soruyu birkaç farklı gönderiye mi yoksa sadece bir tanesine mi bölmem gerektiğinden emin değildim. Soruların hepsi aynı metindeki bir bölümden geldiğinden, tek …

17 r  logistic  model-selection  regression-strategies 

Ortalama merkezli bir AR (2) işlemini burada standart beyaz gürültü işlemidir. Sadece basitlik adına ve izin verin . Karakteristikler denkleminin köklerine odaklanarak Ders kitaplarındaki klasik koşullar aşağıdaki gibidir: Köklerdeki eşitsizlikleri manuel olarak (Mathematica'nın yardımıyla) çözmeye çalıştım, yani sistem sadece eldeXt=ϕ1Xt−1+ϕ2Xt−2+ϵtXt=ϕ1Xt−1+ϕ2Xt−2+ϵtX_t=\phi_1X_{t-1}+\phi_2X_{t-2}+\epsilon_tϵtϵt\epsilon_tϕ1=bϕ1=b\phi_1=bϕ2=aϕ2=a\phi_{2}=az1,2=−b±b2+4a−−−−−−√2az1,2=−b±b2+4a2az_{1,2}=\frac{-b\pm\sqrt{b^2+4a}}{2a}{|a|&lt;1a±b&lt;1{|a|&lt;1a±b&lt;1\begin{cases}|a|<1 \\ a\pm b<1 \end{cases}a±b&lt;1⎧⎩⎨|−b−b2+4a√2a|&gt;1|−b+b2+4a√2a|&gt;1{|−b−b2+4a2a|&gt;1|−b+b2+4a2a|&gt;1\begin{cases}|\frac{-b-\sqrt{b^2+4a}}{2a}|>1 \\ |\frac{-b+\sqrt{b^2+4a}}{2a}|>1\end{cases}a±b&lt;1a±b&lt;1a \pm b<1Can üçüncü koşul …

17 self-study  stationarity  arma 

Sadece lojistik gerilemenin sapma ölçüsünü okudum. Ancak, doymuş model adı verilen kısım benim için net değil. Kapsamlı bir Google araması yaptım ancak sonuçların hiçbiri sorumu yanıtlamadı. Şimdiye kadar, doymuş bir modelin her gözlem için bir parametre olduğunu ve bunun sonucunda mükemmel bir uyumla sonuçlandığını öğrendim. Bu benim için açık. Ancak: …

17 logistic  deviance 

Bazı verileri sunma konusunda rehberlik edebilirim. Bu ilk grafik, sitokin IL-10 için bir vaka kontrol karşılaştırmasıdır. El ile y eksenini% 99 veri içerecek şekilde ayarladım. Bunu manuel olarak ayarlamamın nedeni, vaka grubunun aşırı bir aykırı değer olmasıdır. Ortak çalışanlarım veri kümemize aykırı bir kaldırma işlemi yapmakta tereddüt ediyorlar. Ben iyiyim, …

17 r  data-visualization  outliers  boxplot  presentation 

Lojistik ve lineer regresyonda atlanan değişken önyargı hakkında bir sorum var. Diyelim ki bazı değişkenleri doğrusal regresyon modelinden çıkarıyorum. Atlanan değişkenlerin modelime dahil ettiğim değişkenlerle ilgisiz olduğunu varsayalım. Bu atlanan değişkenler, modelimdeki katsayıları etkilemez. Ancak lojistik regresyonda bunun doğru olmadığını öğrendim. Atlanan değişkenler, dahil edilen değişkenlerle katsayıları saptırır; atlanan değişkenler, …

17 regression  logistic  least-squares  bias 

Bazı araştırmalardan sonra, gözlem ağırlıklarının / ölçüm hatalarının temel bileşenler analizine dahil edilmesinde çok az şey buluyorum. Bulduğum şey, ağırlıkları (örneğin, burada ) dahil etmek için yinelemeli yaklaşımlara dayanma eğilimindedir . Sorum şu: Bu yaklaşım neden gerekli? Ağırlıklı kovaryans matrisinin özvektörlerini neden kullanamıyoruz?

17 pca  measurement-error  weighted-data 

Sıfır korelasyonun bağımsızlık anlamına gelmediğini biliyoruz. Sıfır olmayan bir korelasyonun bağımlılık gösterip göstermediğiyle ilgileniyorum - yani bazı rastgele değişkenler X ve Y için Corr(X,Y)≠0Corr(X,Y)≠0\text{Corr}(X,Y)\ne0 ise , genel olarak f X , Y ( x , y ) ≠ f X ( x ) f Y ( y ) ?XXXYYYfX,Y(x,y)≠fX(x)fY(y)fX,Y(x,y)≠fX(x)fY(y)f_{X,Y}(x,y) \ne …

17 correlation  independence