İstatistikler ve Büyük Veri

Diyelim ki forma sahip doğrusal bir regresyon yürütüyorum y=β0+β1A +β2B +β3A B + ϵy=β0+β1A+β2B+β3AB+ϵy = \beta_0 + \beta_1A+\beta_2B+\beta_3AB +\epsilon. Eğer β3β3\beta_3 pozitif, bu arasında pozitif bir korelasyon var mı? birAA ve BBB? (Tersine, eğer negatif bir korelasyonβ3β3\beta_3 negatif mi?)

9 regression  interaction 

verildiğini varsayın, 'i kapalı form biçiminde türetebilir miyim ? E [ günlük( X) ]E[günlük⁡(X)]\text{E}[\log(X)] E [ X]E[X]\text{E}[X]

9 expected-value  logarithm 

Dondurma Satışlarına karşı kukla bir sıcaklık verileri alıyorum ve 2 kategoriyi (tamamen kukla) ayırt etmek için K Means (n ​​clusters = 2) kullanarak kategorilere ayırdım. Şimdi bu veriler üzerinde Temel Bileşen Analizi yapıyorum ve amacım gördüklerimi anlamak. PCA'nın amacının boyutsallığı azaltmak (bu durumda değil) ve elementlerin varyansını göstermek olduğunu biliyorum. …

9 pca  interpretation  k-means  dimensionality-reduction 

Açık aralıkta iki kantil ve karşılık gelen konumlarını (her biri) konumlarda bu olan bir beta dağıtımının parametrelerini her zaman bulabilir miyim?(q1,q2)(q1,q2)(q_1,q_2)(l1,l2)(l1,l2)(l_1,l_2)( 0 , 1 )(0,1)(0,1)

9 quantiles  curve-fitting  beta-distribution 

Markov veya Chebyshev eşitsizliklerinin sıkı olduğu rastgele değişkenler oluşturmakla ilgileniyorum. Önemsiz bir örnek aşağıdaki rastgele değişkendir. P(X=1)=P(X=−1)=0.5P(X=1)=P(X=−1)=0.5P(X=1)=P(X=-1) = 0.5 . Ortalama sıfır, varyans 1 ve . Bu rastgele değişken chebyshev sıkıdır (eşitlikle tutar).P(|X|≥1)=1P(|X|≥1)=1P(|X| \ge 1) = 1 P(|X|≥1)≤Var(X)12=1P(|X|≥1)≤Var(X)12=1P(|X|\ge 1) \le \frac{\text{Var}(X)}{1^2} = 1 Markov ve Chebyshev'in sıkı olduğu daha ilginç …

9 probability  distributions  random-variable  probability-inequalities 

Bağımlı ve bağımsız değişkenli bir veri setim var. Her ikisi de bir zaman serisi değil. 120 gözlemim var. Korelasyon katsayısı 0.43 Bu hesaplamadan sonra, her iki değişken için her 12 gözlem için ortalama olan bir sütun ekledim ve 108 gözlem (çift) ile 2 yeni sütun ortaya çıktı. Bu sütunların korelasyon …

9 regression  correlation  mean  predictor  cross-section 

Adams ve MacKay ( link ) tarafından yapılan Bayesian çevrimiçi değişim noktası tespit belgesini okuyorum . Yazarlar marjinal tahmin dağılımını yazarak başlar: P(xt + 1|x1 : t) =ΣrtP(xt + 1|rt,x( r )t) P(rt|x1 : t)( 1 )P(xt+1|x1:t)=∑rtP(xt+1|rt,xt(r))P(rt|x1:t)(1) P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad …

9 time-series  bayesian  inference  change-point 

Diyelim ki bazı belirsizliklere sahip verilerim var. Örneğin: X Y 1 10±4 2 50±3 3 80±7 4 105±1 5 120±9 Belirsizliğin doğası, tekrar ölçümler veya deneyler veya örneğin ölçüm cihazı belirsizliği olabilir. R'yi kullanarak normalde yapacağım bir eğri koymak istiyorum lm. Bununla birlikte, bu bana uygun katsayılardaki belirsizliği ve sonuç …

9 r  least-squares  error-propagation 

Birim disk üzerinde karmaşık bir regresyon sorununu çözmem gerekiyor. Orijinal soru bazı ilginç yorumlar çekti, ancak ne yazık ki cevap yok. Bu arada, bu sorun hakkında daha fazla şey öğrendim, bu yüzden orijinal sorunu alt problemlere ayırmaya çalışacağım ve bu sefer daha iyi şansım olup olmadığını göreceğim. Birim disk içindeki …

9 regression  spatial  circular-statistics 

Hastie'nin ESL kitabında çalışıyorum ve Soru 2.3 ile zor anlar yaşıyorum. Soru şudur: Başlangıç ​​noktasında en yakın komşu tahminini düşünüyoruz ve başlangıç ​​noktasından en yakın veri noktasına olan ortalama mesafe bu denklemle verilmiştir. Bunu türetmek için nereden başlayacağımı bilmiyorum. Çoğu veri noktasının diğer herhangi bir veri noktasına (boyutsallığın laneti) kıyasla …

9 machine-learning  computational-statistics 

Bazı beklentileri hesaplamak istediğimizi varsayalım: EYEX|Y[f(X,Y)]EYEX|Y[f(X,Y)]E_YE_{X|Y}[f(X,Y)] Monte Carlo simülasyonunu kullanarak buna yaklaşmak istediğimizi varsayalım. EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r) AMA, her iki dağıtımdan da numune almanın pahalı olduğunu varsayalım, böylece yalnızca sabit bir sayı çizebiliriz KKK. Nasıl tahsis etmeliyiz KKK? Örnekler:K/ 2K/2K/2 her bir dağıtıma veya en uçta dışa bir beraberlik çeker …

9 optimization  conditional-probability  simulation  expected-value  monte-carlo 

Temel bir Poisson regresyonunun sıfır şişirilmiş Poisson regresyonunun iç içe bir versiyonu olup olmadığını tartışan pek çok şey gördüm. Örneğin, bu site , bunun sıfırın modellenmesi için fazladan parametreler içerdiğini, ancak başka bir şekilde, öncekiyle aynı Poisson regresyon parametrelerini içerdiğini, ancak sayfa katılmayan bir referans içerdiğini iddia eder. Hakkında bilgi …

9 poisson-regression  zero-inflation 

Kapalı . Bu sorunun daha fazla odaklanması gerekiyor . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu, yalnızca bu yayını düzenleyerek tek bir soruna odaklanacak şekilde güncelleyin . 3 yıl önce kapalı . Olasılık teorisi, ölçü teorisi ve son olarak makine öğrenimi hakkında bilgi edinmek istiyorum. Nihai …

9 machine-learning  probability  references  measure-theory 

parametresi olduğu üniform dağılımından alınan 3 örneği göz önünde bulundurun . ı bulmak istiyorum burada X _ {(i)} sipariş istatistiği i'dir .u(θ,2θ)u(θ,2θ)u(\theta, 2\theta)θθ\thetaE[X(2)|X(1),X(3)]E[X(2)|X(1),X(3)] \mathbb{E}\left[X_{(2)}| X_{(1)}, X_{(3)}\right] X(i)X(i)X_{(i)}iii Sonucun \ mathbb {E} \ sol olmasını beklerdim [X _ {(2)} | X _ {(1)}, X _ {(3)} \ right] = \ frac …

9 uniform  conditional-expectation  order-statistics 

XGBoost'ta doğrusal objektif fonksiyonun ve doğrusal takviyelerin nasıl uygulanacağını biliyorum. Benim somut sorum şudur: algoritma artık (veya negatif eğime) uyduğunda, her adımda bir özellik (yani tek değişkenli model) veya tüm özellikler (çok değişkenli model) kullanıyor mu? XGBoost'taki doğrusal artışlarla ilgili belgelere yapılan herhangi bir referans takdir edilecektir. DÜZENLEME: XGBoost'ta 'güçlendirici' …

9 regression  machine-learning  boosting  xgboost