İstatistikler ve Büyük Veri

Bir Kutu ve Bıyık grafiği için bir aykırı standart tanımı aralığının dışındaki noktalardır ; burada ve ilk çeyrek ve verinin üçüncü çeyreğidir.{Q1−1.5IQR,Q3+1.5IQR}{Q1−1.5IQR,Q3+1.5IQR}\left\{Q1-1.5IQR,Q3+1.5IQR\right\}IQR=Q3−Q1IQR=Q3−Q1IQR= Q3-Q1Q1Q1Q1Q3Q3Q3 Bu tanımın temeli nedir? Çok sayıda nokta ile mükemmel bir normal dağılım bile aykırı değerlere geri döner. Örneğin, diziyle başladığınızı varsayalım: xseq<-seq(1-.5^1/4000,.5^1/4000, by = -.00025) Bu dizi …

17 outliers  normality-assumption  qq-plot  boxplot 

Burada tanımlanan mavi bölgeden örnekler oluşturmak istiyorum: Saf çözüm, birim karede reddetme örneklemesi kullanmaktır, ancak bu sadece (~% 21.4) verimlilik sağlar.1−π/41−π/41-\pi/4 Daha verimli örneklememin bir yolu var mı?

17 probability  sampling  monte-carlo  random-generation 

Sen ve ben sırayla bozuk para çeviren bir oyun oynamaya karar veriyoruz. Toplamda 10 kafa çeviren ilk oyuncu oyunu kazanır. Doğal olarak, önce kimin gitmesi gerektiği konusunda bir tartışma var. Bu oyunun simülasyonları, ilk çeviren oyuncunun ikinci çeviren oyuncudan% 6 daha fazla kazandığını göstermektedir (ilk oyuncu zamanın yaklaşık% 53'ünü kazanır). …

17 probability  python  binomial  negative-binomial 

Cox orantılı tehlike modelini öğreniyorum. Lojistik regresyon modellerine uyan çok fazla deneyimim var ve bu yüzden sezgiyi oluşturmak coxphiçin R "sağkalımından" uygun modelleri kullanarak uygun lojistik regresyon modelleri glmile karşılaştırıyorum family="binomial". Kodu çalıştırırsam: library(survival) s = Surv(time=lung$time, event=lung$status - 1) summary(coxph(s ~ age, data=lung)) summary(glm(status-1 ~ age, data=lung, family="binomial")) 0.0419 …

17 r  logistic  survival  cox-model  power 

Önyargılı olan ortalamanın MLE tahmincisine bir örnek verebilir misiniz? MLE tahmincilerini genel olarak düzenlilik koşullarını ihlal ederek bozan bir örnek aramıyorum. İnternette görebildiğim tüm örnekler varyansa işaret ediyor ve ortalama ile ilgili hiçbir şey bulamıyorum. DÜZENLE @MichaelHardy, belirli bir önerilen model altında MLE kullanarak tekdüze dağılım ortalamasının önyargılı bir tahminini …

17 maximum-likelihood  mean  bias 

Bırakmayı açıklayacak yarım sayfanız varsa , nasıl ilerlersiniz? Bu tekniğin arkasındaki mantık hangisidir?

17 neural-networks  deep-learning  regularization  dropout 

Bu Çapraz Onaylı soru , sabit bir meblağa sahip olmak için şartlı bir örnek taklit etme sorusunu bana George Casella'nın belirlediği bir sorunu hatırlattı . Parametrik bir model göz önüne alındığında, f(x|θ)f(x|θ)f(x|\theta) , ve bu model bir iid örnek (X1,…,Xn)(X1,…,Xn)(X_1,\ldots,X_n) , maksimum olabilirlik tahmininin θθ\theta verilir İçeride ISTV melerin RWMAIWi'nin …

17 maximum-likelihood  conditional-probability  random-variable  simulation  t-distribution 

İki boyutta bölünmüş karar ağacının VC boyutu nedir ? Diyelim ki model CART ve izin verilen bölünmeler sadece eksenlere paralel. Yani bir bölünme için bir üçgende 3 puan sipariş edebiliriz ve daha sonra noktaların herhangi bir etiketlenmesi için mükemmel bir tahmin alabiliriz (yani: parçalanmış noktalar) Peki ya 2 yarma ya …

17 cart  vc-dimension 

Vektör normu için L2 normu veya "Öklid mesafesi" yaygın olarak kullanılan ve sezgisel bir tanımdır. Ama neden bir matris için "en çok kullanılan" veya "varsayılan" norm tanımı spektral normdur , fakat Frobenius normu değildir (vektörler için L2 normuna benzer)? Bunun yinelemeli algoritmalar / matris güçleri ile bir ilgisi var mı …

17 matrix  linear-algebra 

"Boyutsallığın laneti" nin ne olduğunu anlıyorum ve bazı yüksek boyutlu optimizasyon problemleri yaptım ve üstel olasılıkların zorluklarını biliyorum. Ancak, gerçek boyutların çoğunda "boyutsallığın laneti" mevcutsa şüphe ediyorum. Binlerce özelliğe sahip veri toplayabiliriz ancak özelliklerin binlerce boyuta sahip bir alana tam olarak yayılması mümkün değildir. Boyut azaltma tekniklerinin bu kadar popüler …

17 clustering  dimensionality-reduction  high-dimensional 

Daha önce wikipedia'da Jeffreys hakkında okuyordum: Jeffreys Prior ve her örnekten sonra, varyans stabilize edici bir dönüşümün Jeffreys'i daha önce tek tip bir forma dönüştürdüğünü açıkladığını gördüm. Bir örnek olarak, Bernoulli durum için, bu durumları olasılığı olan kafaları olan bir madeni para için γ∈[0,1]γ∈[0,1]\gamma \in [0,1] , Bernoulli test modeli …

17 bayesian  prior  jeffreys-prior 

Bazı kategorik değişken öngörücülere ve bazı sürekli olanlara sahip bir LASSO kullanıyorum. Kategorik değişkenler hakkında bir sorum var. Anladığım ilk adım, her birini aptallara bölmek, adil cezalandırma için standartlaştırmak ve sonra gerilemek. Kukla değişkenleri tedavi etmek için çeşitli seçenekler ortaya çıkar: Her bir faktör için mankenlerden biri hariç hepsini dahil …

17 categorical-data  regression-coefficients  lasso  intercept  categorical-encoding 

Bu soru, I ve diğer pek çok konuda AIC ve BIC arasındaki fark konusunda biraz zorlandığımız bir konuyu takip etmek veya karışıklığı gidermeye çalışmaktır. @Dave Kellen'in bu konuyla ilgili çok güzel bir cevapta ( /stats//a/767/30589 ) okuyoruz: Sorunuz, AIC ve BIC'nin aynı soruya cevap vermeye çalıştığını ima ediyor, bu doğru …

17 model-selection  aic  bic 

Verilerim üzerinde çok doğru olan bir lojistik regresyon sınıflandırıcısı oluşturdum. Şimdi neden bu kadar iyi çalıştığını daha iyi anlamak istiyorum. Özellikle, hangi özelliklerin en büyük katkıyı yaptığını (hangi özelliklerin en önemli olduğunu) sıralamak ve ideal olarak, her özelliğin genel modelin (veya bu damardaki bir şeyin) doğruluğuna ne kadar katkıda bulunduğunu …

17 machine-learning  logistic  feature-selection  importance 

Böyle bir kodu kullanarak R'de bir logit regresyonu gerçekleştirilebilir: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Optimizasyon algoritmasının birleştiği anlaşılıyor - balıkçı puanlama algoritmasının adım sayısı hakkında bilgi var: Call: glm(formula = cbind(Menarche, Total - Menarche) ~ …

17 r  generalized-linear-model  optimization  algorithms  logit