İstatistikler ve Büyük Veri

Regresyonum üzerinde yüksek etkiye sahip olan aykırı değerleri belirlemek için aşçının mesafesini okuyorum. Cook'un orijinal çalışmasında, etkileyicileri tanımlamak için 1'lik bir kesme oranının karşılaştırılabilir olması gerektiğini söylüyor. Ancak, diğer çeşitli çalışmalar4n4n\frac{4}{n} veya 4n−k−14n−k−1\frac{4}{n-k-1} bir kesme olarak. Çalışmamda, artıklarımın hiçbirinin D değeri 1'den yüksek değil. 4n4n\frac{4}{n} bir kesme olarak (4149=.026)(4149=.026)(\frac{4}{149}= .026), …

9 outliers  cooks-distance 

Tüm tam koşulların (Gibbs örneklemesinde kullanıldığı gibi) eklem dağılımını belirleyebildiğini duydum. Ama neden ve nasıl olduğunu anlamıyorum. Yoksa yanlış mı duydum? Teşekkürler!

9 distributions 

İstatistiksel Öğrenmenin Unsurları (PDF'de çevrimiçi olarak mevcuttur) kitabında iyimserlik yanlılığı tartışılmaktadır (7.21, sayfa 229). İyimserlik yanlılığının eğitim hatası ile örnek içi hata arasındaki fark olduğunu belirtir (orijinal eğitim noktalarının her birinde yeni sonuç değerlerini örneklediğimizde gözlenen hata) (aşağıda). Sonra, bu iyimserlik yanlılığını belirtiyor (ωω\omega), tahmini y değerlerimiz ve gerçek y …

9 error  bias  validation 

Periyotlu birçok zaman dizim var: gün, hafta veya ay. İle stl()veya fonksiyonu ile loess(x ~ y)ben nasıl görebilirim belirli zaman serisi görünüm eğilimler. Zaman serilerinin eğiliminin arttığını veya azaldığını tespit etmem gerekiyor. Bunu nasıl yönetebilirim? Doğrusal regresyon katsayılarını hesaplayıp lm(x ~ y)eğim katsayısı ile oynamaya çalıştım . ( If |slope|>2 …

9 r  time-series  trend 

Uygun bir dağıtım üretme yöntemi olarak MLE hakkında okuyorum. Maksimum olasılık tahminlerinin "yaklaşık normal dağılımlara sahip olduğunu" belirten bir açıklama ile karşılaştım . Bu, verilerime ve uydurmaya çalıştığım dağıtım ailesine MLE'yi tekrar tekrar uygularsam, aldığım modellerin normal olarak dağıtılacağı anlamına mı geliyor? Bir dağıtım dizisinin tam olarak dağılımı nedir?

9 normal-distribution  estimation  maximum-likelihood 

Zamana göre değişen katsayılara sahip bir DLM, yani normal doğrusal regresyonun bir uzantısı olan, yt=θ1+θ2x2yt=θ1+θ2x2y_t = \theta_1 + \theta_2x_2. Bir tahmin edicim var (x2x2x_2) ve bir yanıt değişkeni (ytyty_t), 1950-2011 yılları arasında sırasıyla deniz ve iç yıllık balık avları. DLM regresyon modelinin takip etmesini istiyorum, yt=θt , 1+θt , 2xtyt=θt,1+θt,2xty_t …

9 r  regression  time-series  dlm  dynamic-regression 

Eklem entropisi hakkında bazı sezgiler oluşturmakta zorlanıyorum. = eklem dağılımındaki belirsizlik ; = belirsizlik ; = belirsizlik .'H( X, Y)'H(X,Y)H(X,Y)p ( x , y)p(x,y)p(x,y)'H( X)'H(X)H(X)px( x )px(x)p_x(x)'H( Y)'H(Y)H(Y)py( y)py(y)p_y(y) H (X) yüksekse, dağılım daha belirsizdir ve böyle bir dağılımın sonucunu biliyorsanız daha fazla bilgiye sahipsiniz! Böylece H (X) aynı zamanda …

9 information-theory  mutual-information 

Zaman içinde giderek daha ayrıntılı tahmin ediciler edindiğim bir değişkeni en iyi nasıl modelleyebileceğimi anlamaya çalışıyorum. Örneğin, temerrüde düşmüş kredilerdeki geri kazanım oranlarını modellemeyi düşünün. Diyelim ki 20 yıllık veri içeren bir veri setimiz var ve bu yılların ilk 15'inde kredinin teminatlı olup olmadığını biliyoruz, ancak bu teminatın özellikleri hakkında …

9 regression  missing-data 

Bir istatistik ders kitabındaki kavram üzerine tökezledikten sonra, kafamı bu konuya sarmaya çalıştım ve sonunda şimdiye kadar gördüğüm tüm açıklamalara uyan bir sonuca vardım: Güvenilir bir aralık, istatistikçi olmayanların güven düşündüğü şeydir aralığı. Bir saat öncesinden benim gibi farkı bilmeyenlerin sözleri Verileri gözlemlediysek ve ondan bir parametre tahmin edersek, diyelim …

9 confidence-interval  methodology  credible-interval 

Edit: Sorumun temeli kusurlu ve ben bile mantıklı olabilir olup olmadığını anlamak için biraz zaman harcamak gerekiyor. Düzenleme 2: Bir p-değerinin sıfır hipotez olasılığının doğrudan bir ölçüsü olmadığını, ancak p-değerinin 1'e ne kadar yakın olduğunu varsaydığımı açıklığa kavuşturmak, bir hipotezin karşılık gelen sıfır hipotezi doğru olan deneysel test için seçilmiştir, …

9 hypothesis-testing  p-value 

Zaman , küresel bir kısıtlama empoze en küçük kareler problemi değerine olarak yazılabilir . \ | \ cdot \ | _2 bir vektörün Öklid normudur.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}∥⋅∥2‖⋅‖2\|\cdot\|_2 Tekabül eden …

9 regression  least-squares  regularization  ridge-regression  underdetermined 

Bir veri kümesinden birçok kez yeniden örnekleme yapar ve her seferinde ortalama hesaplarsanız, bu yolların normal bir dağılımı (CLT tarafından) takip edeceğini biliyorum. Böylece, veri kümesinin olasılık dağılımı hakkında herhangi bir varsayımda bulunmadan veri kümesinin ortalaması üzerinde bir güven aralığı hesaplayabilirsiniz. Varyans için benzer bir şey yapıp yapamayacağınızı merak ediyordum. …

9 distributions  confidence-interval  bootstrap  resampling 

Ben hesaplıyor iddia iddia bir excel sayfası bakıyorum , ama bunu yapmanın bu şekilde tanımıyorum ve bir şey eksik olup olmadığını merak ediyordum.χ2χ2\chi^2 İşte analiz ettiği veriler: +------------------+----------+----------+ | Total Population | Observed | Expected | +------------------+----------+----------+ | 2000 | 42 | 32.5 | | 2000 | 42 | 32.5 …

9 r  chi-squared  excel 

Bir meslektaşım bana bu problemi internette tur attı: If $3 = 18, 4 = 32, 5 = 50, 6 = 72, 7 = 98$, Then, $10 =$ ? Cevap 200 gibi görünüyor. 3*6 4*8 5*10 6*12 7*14 8*16 9*18 10*20=200 R doğrusal bir regresyon yaptığımda: data <- data.frame(a=c(3,4,5,6,7), b=c(18,32,50,72,98)) lm1 …

9 r  regression  lm 

verilmiş nnn her sayının değerinin farklı olduğu sayılar, v1,v2,...,vnv1,v2,...,vnv_1, v_2, ..., v_nve her sayıyı seçme olasılığı p1,p2,...,pnp1,p2,...,pnp_1, p_2, ..., p_n, sırasıyla. Şimdi seçersem KKK verilen olasılıklara dayalı sayılar, K≤nK≤nK \leq n, bunların toplamının beklentisi nedir KKKsayılar? Seçimin değiştirilmeden olduğunu unutmayın, böyleceKKKsayılar yinelenen sayılar içeremez. Seçim yerine geçiyorsa, toplamın beklentisininKKK sayılar …

9 probability