İstatistikler ve Büyük Veri

Otomatik Alaka Tespiti (ARD) ve Ridge regresyon gibi Genelleştirilmiş Doğrusal Modellerin kullanılmasında, Box-Jenkins (ARIMA) gibi Zaman serisi modellerine veya öngörme için Üstel yumuşatma gibi farklar nelerdir? GLM'nin ne zaman ve ne zaman Time Serisinin kullanılacağına dair genel kurallar var mı?

10 time-series  generalized-linear-model  forecasting 

Verilerle aynı birime sahip olacak olan Skewness'e normalleştirilmiş eşdeğeri ne olurdu? Benzer şekilde Kurtosis'e normalleştirilmiş eşdeğer ne olur? İdeal olarak, bu işlevler verilere göre doğrusal olmalıdır, yani tüm gözlemler bir faktörle çarpılacaksa n, ortaya çıkan normalleştirilmiş çarpıklık ve basıklık aynı faktörle çarpılacaktır n. Bu tür normalleştirilmiş eşdeğerlere sahip olmanın yararı, …

10 skewness  kurtosis 

İstatistiksel hipotez testinde, sıfır hipotezi genellikle (en azından okuduğum kitaplarda) şeklini alır: veya 'H0'H0H_0'H0:'H0:θ =θ0θ ≤θ0H0:θ=θ0H0:θ≤θ0 \begin{align*} H_0:&\theta=\theta_0\\ H_0:&\theta\le\theta_0 \end{align*} 'H0:θ1≤ θ ≤θ2H0:θ1≤θ≤θ2 H_0:\theta_1\le\theta\le\theta_2 setlerin kapalı olması sadece bir kural mı? Yoksa başka sebepler var mı?'H0H0H_0

10 hypothesis-testing 

İçtenlikle bu soruyu tam olarak cevaplanabilecek şekilde ifade ettiğimi umuyorum - eğer değilse, lütfen bana bildirin ve tekrar deneyeceğim! Ayrıca bu analizler için R kullanacağımı da not etmeliyim. Benim plant performance (Ys)uyguladığım dört tedaviden etkilendiğini düşündüğüm birkaç önlemim var - flower thinning (X1), fertilization (X2), leaf clipping (X3)ve biased flower …

10 hypothesis-testing  mixed-model  interaction  nonlinear  regression-strategies 

Doğrusal regresyonda, modele uyursak, hoş bir sonuçla karşılaştım. E[Y]=β1X1+β2X2+c,E[Y]=β1X1+β2X2+c,E[Y] = \beta_1 X_1 + \beta_2 X_2 + c, sonra, standardize edersek ve ortalarsak YYY, X1X1X_1 ve X2X2X_2 veri, R2=Cor(Y,X1)β1+Cor(Y,X2)β2.R2=Cor(Y,X1)β1+Cor(Y,X2)β2.R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2. Bu bana 2 değişkenli bir versiyon gibi geliyor R2=Cor(Y,X)2R2=Cor(Y,X)2R^2 = \mathrm{Cor}(Y,X)^2 için y=mx+cy=mx+cy=mx+c hoş olan …

10 regression  linear-model  r-squared  proof 

Bugün birisiyle örnekleme hakkında konuşuyordum ve belirli bir yasal davada telefon rehberinden sistematik örnekleme öneren çok saygın bir istatistikçi hakkında bir hikayeyi belirsiz bir şekilde hatırlıyorum. Hikayenin mahkemede hâkim gibi bir şey olduğunu "İstatistikler hakkında çok şey bilmiyorum, ama her 100 üncü isimden örneklemenin doğru olmadığını biliyorum" şeklinde bir şey …

10 sampling  references  history 

Birkaç zaman serisi veri kümesinde anomali tespiti uygulamam gerekiyor. Bunu daha önce hiç yapmadım ve tavsiye almayı umuyordum. Ben python ile çok rahat, bu yüzden çözüm uygulanmasını tercih ederdim (benim kod çoğu işimin diğer bölümleri için python olduğunu). Verilerin açıklaması: Son 2 yılda toplanmaya başlanan aylık zaman serisi verileri (yani …

10 machine-learning  time-series  python  computational-statistics  anomaly-detection 

Şu anda Pearl'ün nedensellik ve bir modelin parametrik olmayan kimliği ile gerçek tahmin arasındaki bağlantıyı kurmak için mücadele konusundaki makalesini (Pearl, 2009, 2. baskı) okuyorum. Ne yazık ki, Pearl'ün kendisi bu konuda çok sessiz. Örnek vermek gerekirse, nedensel bir yolla aklıma gelen basit bir modelim var, x → z→ yx→z→yx …

10 estimation  references  causality 

Öncelikle bir bilgisayar bilimi geçmişim var ama şimdi kendime temel istatistikleri öğretmeye çalışıyorum. Poisson dağılımı olduğunu düşündüğüm bazı verilerim var İki sorum var: Bu bir Poisson dağılımı mı? İkincisi, bunu normal bir dağılıma dönüştürmek mümkün mü? Herhangi bir yardım mutluluk duyacağız. Çok teşekkürler

10 normal-distribution  data-transformation  poisson-distribution 

Sadece ACF ve PACF grafiklerini doğru yorumladığımı kontrol etmek istiyorum: Veriler, gerçek veri noktaları ile bir AR (1) modeli kullanılarak oluşturulan tahminler arasında üretilen hatalara karşılık gelir. Buradaki cevaba baktım: ACF ve PACF denetimi ile ARMA katsayılarını tahmin etme Okuduktan sonra hatalar otomatik olarak ilişkilendirilmemiş gibi görünüyor ama sadece emin …

10 time-series  arima  interpretation  autocorrelation  acf-pacf 

İzin VermekX1, . . . ,XnX1,...,Xn X_1, ...,X_n rastgele bir örnek olmak G e o m e t r i c ( θ )G,eÖmetrbenc(θ)Geometric(\theta) için 0 &lt; θ &lt; 10&lt;θ&lt;10<\theta<1. yani, pθ( x ) = θ ( 1 - θ)x - 1ben{ 1 , 2 , . . . }( …

10 probability  self-study  estimation  unbiased-estimator  exponential-family 

Gauss Süreci Regresyonu için Kareli Üstel çekirdek (SE) kullanacağım. Bu çekirdeğin avantajları: 1) basit: sadece 3 hiperparametre; 2) pürüzsüz: bu çekirdek Gauss'tur. İnsanlar neden 'pürüzsüzlüğü' çok seviyor? Gauss çekirdeğinin sınırsız biçimde ayırt edilebilir olduğunu biliyorum, ama bu çok önemli mi? (SE çekirdeğinin bu kadar popüler olmasının başka nedenleri varsa lütfen …

10 machine-learning 

Benim sorum, Minka'nın rastgele vektörlerin gözlemlerine dayanan bir Dirichlet dağılımı için maksimum olabilirlik tahmincisi türetme bağlamında aşağıdakileri kanıtsız olarak ifade eden "Bir Dirichlet Dağılımını Tahmin Etme" okumasını okumaktan kaynaklanmaktadır: Her zaman olduğu gibi üstel ailede olduğu gibi, eğim sıfır olduğunda, beklenen yeterli istatistikler gözlemlenen yeterli istatistiklere eşittir. Bu şekilde sunulan …

10 self-study  maximum-likelihood  exponential-family  sufficient-statistics 

Bir korelasyon matrisim var AAAMatlab'ın düzeltme () ile Pearson doğrusal korelasyon katsayısını kullanarak elde ettiğim . 100x100 boyutundaki korelasyon matrisi, yani I 100 rastgele değişken üzerindeki korelasyon matrisini hesapladım. Bu 100 rasgele değişken arasında, korelasyon matrisi mümkün olduğunca "küçük korelasyon" içeren 10 rasgele değişkeni bulmak istiyorum (bkz. Bir korelasyon matrisi …

10 correlation 

Regresyon analizinde şapka matrisinin önemi nedir ?H=X(X′X)−1X′H=X(X′X)−1X′H=X(X^{\prime}X )^{-1}X^{\prime} Sadece daha kolay hesaplama için mi?

10 regression  multiple-regression  least-squares