İstatistikler ve Büyük Veri

Hetero-esnekliği gerçekten anlamıyorum. Modelimin bu konuya göre uygun olup olmadığını bilmek istiyorum.

17 r  regression  residuals  heteroscedasticity  independence 

Poisson GLM'nin tamsayı olmayan sayıları kabul etmesi beni gerçekten şaşırttı! Bak: Veriler (içeriği data.txt): 1 2001 0.25 1 1 2002 0.5 1 1 2003 1 1 2 2001 0.25 1 2 2002 0.5 1 2 2003 1 1 R kodu: t <- read.table("data.txt") names(t) <- c('site', 'year', 'count', 'weight') tm …

17 r  generalized-linear-model  poisson-distribution  poisson-regression 

Çoğunlukla yüksek derecede korelasyonlu ve çok gürültülü (örneğin teknik göstergeler) çoğunlukla finansal değişkenlere (120 özellik, 4k örnek) sahip bir veri setim var, bu yüzden model eğitimi (ikili sınıflandırma) ile daha sonra kullanmak üzere maksimum 20-30'u seçmek istiyorum - artış azalış). Özellik sıralaması için rastgele ormanlar kullanmayı düşünüyordum. Bunları tekrar tekrar …

17 feature-selection  random-forest  python 

ve F-Test arasında bir ilişki olup olmadığını merak ediyordum .R,2R,2R^2 Genellikle ve regresyonda doğrusal ilişki.R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} Bir F-Testi sadece bir hipotez kanıtlar. ve F-Testi arasında bir ilişki var mı ?R,2R2R^2

17 regression  hypothesis-testing  least-squares  goodness-of-fit 

Borel'in paradoksuyla ve koşullu olasılıkla ilgili diğer ilişkili "paradokslarla" zihinsel olarak nasıl uğraştığım konusunda biraz tedirgin hissediyorum. Bunu okuyanlar, aşina olmayanlar için bu bağlantıya bakın . Bu noktaya kadarki zihinsel tepkim çoğunlukla onu görmezden gelmekti çünkü kimse bu konuda konuşmuyor gibi görünüyor, ama bunu düzeltmem gerektiğini hissediyorum. Bu paradoksun var …

17 probability  conditional-probability  conditional-expectation 

tl; dr - OLS regresyonu için, daha yüksek bir R-kare aynı zamanda daha yüksek bir P değeri anlamına mı gelir? Özellikle tek bir açıklayıcı değişken için (Y = a + bX + e), fakat aynı zamanda n çok sayıda açıklayıcı değişken (Y = a + b1X + ... bnX + …

17 regression  modeling  p-value  r-squared 

Birisi bana bir Markov zincirinin periyodikliğinin ne olduğunu sezgisel bir şekilde açıklayabilir mi? Aşağıdaki gibi tanımlanır: Hepsi için devletler deSbenbeniSSS dbendbend_i = gcd{ n ∈ N | p( n )ben ben> 0 } = 1{n∈N-|pbenben(n)>0}=1\{n \in \mathbb{N} | p_{ii}^{(n)} > 0\} =1 Emeğiniz için teşekkür ederiz!

17 stochastic-processes  markov-process 

K-ortalamaları algoritmasının genel bir minimum değere değil, yalnızca yerel bir minimum değere yaklaştığını okudum. Bu neden? Mantıksal olarak başlatmanın son kümelemeyi nasıl etkileyebileceğini düşünebilirim ve en uygun olmayan kümeleme olasılığı vardır, ancak bunu matematiksel olarak kanıtlayacak hiçbir şey bulamadım. Ayrıca, k-neden yinelemeli bir süreçtir? Amaç fonksiyonunu centroidlerle kısmen ayırt edemeyiz, …

17 clustering  k-means  convergence  gradient-descent  minimum 

Bir t dağılımının parametrelerine nasıl uyurum, yani normal dağılımın 'ortalama' ve 'standart sapmasına' karşılık gelen parametreler. Bir t-dağılımı için 'ortalama' ve 'ölçeklendirme / serbestlik derecesi' olarak adlandırıldığını varsayıyorum? Aşağıdaki kod genellikle 'optimizasyon başarısız' hatalarıyla sonuçlanır. library(MASS) fitdistr(x, "t") Önce x 'i ölçeklendirmem veya olasılıklara dönüştürmem gerekiyor mu? Bunu en iyi …

17 r  distributions  maximum-likelihood  fitting  robust 

Bir coxmodel takıldıktan sonra, tahminler yapmak ve yeni verilerin göreceli riskini almak mümkündür. Anlamadığım şey, bir kişi için göreceli riskin nasıl hesaplandığı ve neye göre (yani nüfusun ortalaması)? Anlamaya yardımcı olacak kaynaklar için herhangi bir öneri (Hayatta kalma analizinde çok gelişmiş değilim, bu yüzden daha basit daha iyi)?

17 predictive-models  relative-risk  cox-model 

Moment üreten fonksiyon ile karakteristik fonksiyon arasındaki bağlantıyı anlamaya çalışıyorum. Moment üreten fonksiyon şu şekilde tanımlanır: MX( t ) = E( exp( t X) ) = 1 + t E( X)1+ t2E( X2)2 !+ ⋯ + tnE( Xn)n !MX(t)=E(tecrübe⁡(tX))=1+tE(X)1+t2E(X2)2!+⋯+tnE(Xn)n! M_X(t) = E(\exp(tX)) = 1 + \frac{t E(X)}{1} + \frac{t^2 E(X^2)}{2!} …

17 probability  moments  mgf  method-of-moments  characteristic-function 

Biz sıralı tepki olduğunu varsayalım y:{Bad, Neutral, Good}→{1,2,3}y:{Bad, Neutral, Good}→{1,2,3}y:\{\text{Bad, Neutral, Good}\} \rightarrow \{1,2,3\} ve değişkenler kümesi X:=[x1,x2,x3]X:=[x1,x2,x3]X:=[x_1,x_2,x_3] düşündüğümüz olduğunu açıklayacağız yyy . Daha sonra , y (yanıt) üzerinde XXX (tasarım matrisi) düzenli bir lojistik regresyonunu yaparız .yyy Tahmini katsayısı varsayalım x1x1x_1 , bu çağrı p 1 lojistik regresyon olduğu …

17 logit  odds-ratio  ordered-logit 

Son zamanlarda standart hatanın iç işleyişini araştırdım ve kendimin nasıl çalıştığını anlayamadım. Standart hatayı anladığım, bunun örnek araçların dağılımının standart sapması olduğudur. Sorularım: • Standart hatanın genellikle sadece tek bir numune aldığımızda numune araçlarının standart sapması olduğunu nasıl biliyoruz? • Standart hatayı hesaplamak için kullanılan denklem neden tek bir örnek …

17 standard-error 

Kısaca açıklayın İnterpolasyon ile ne kastedilmektedir? Regresyon kavramı ile nasıl ilişkilidir? enterpolasyon, bir tablonun çizgileri ile temel matematikte okuma sanatıdır, bu terim genellikle bir fonksiyonun ara değerlerini, o fonksiyonun verilen veya tablo değerlerinden oluşan bir kümeden hesaplama sürecini ifade eder. İkinci sorunun cevabını veremiyorum. Lütfen yardım et

17 regression  self-study  interpolation 

Dönüştürülen bağımlı değişkenle doğrusal bir regresyon yapıyorum. Aşağıdaki dönüşüm, artıkların normallik varsayımının geçerli olacağı şekilde yapılmıştır. Dönüştürülemeyen bağımlı değişken negatif saptandı ve aşağıdaki dönüşüm onu ​​normale yakın hale getirdi: Y=50−Yorig−−−−−−−−√Y=50−YorigY=\sqrt{50-Y_{orig}} burada YorigYorigY_{orig} özgün ölçekte bağımlı değişkendir. Bunun üzerine bazı dönüşümü kullanmak mantıklı düşünmek ββ\beta orijinal ölçeğe yolumuza geri çalışmak için …

17 regression  data-transformation