İstatistikler ve Büyük Veri

Soliton dağıtım kümesi üzerinde ayrı bir olasılık dağılımıdır olasılık fonksiyonlu{ 1 , … , N}{1,…,N}\{1,\dots, N\} p ( 1 ) = 1N-,p ( k ) = 1k ( k - 1 )için k ∈ { 2 , ... , N}p(1)=1N,p(k)=1k(k−1)for k∈{2,…,N} p(1)=\frac{1}{N},\qquad p(k)=\frac{1}{k(k-1)}\quad\text{for }k\in\{2,\dots, N\} İdeal bir rasgele sayı üreteci …

10 distributions  python 

Genellikle buradaki veri madencilerinin bu terimi kullandığını duydum. Sınıflandırma problemleri üzerinde çalışan bir istatistikçi olarak, "bir sınıflandırıcı yetiştir" terimine aşinayım ve "bir model öğren" in aynı şey olduğunu varsayıyorum. "Sınıflandırıcı yetiştir" terimini umursamıyorum. Bu, eğitim verileri model parametrelerinin iyi veya "geliştirilmiş" tahminlerini almak için kullanıldığından bir modelin takılması fikrini tasvir …

10 classification  data-mining  terminology  model 

Bayes faktörlerini kullanarak model karşılaştırması ile ilgili bir sorum var. Pek çok durumda, istatistikçiler uygun olmayan önceliklerle (örneğin bazı Jeffreys öncelikleri ve referans öncelikleri) Bayesci bir yaklaşım kullanmakla ilgileniyorlar. Benim sorum, model parametrelerinin posterior dağılımının iyi tanımlandığı durumlarda, Bayes faktörlerini kullanan modelleri uygunsuz önceliklerin kullanımı altında karşılaştırmak geçerli midir? Basit …

10 bayesian  model-selection  prior 

Tüm dünyaya dağıtılan yüzlerce bilgisayarda, belirli olayların oluşumunu ölçen bir denemem var. Olayların her biri birbirine bağlıdır, böylece onları artan sırayla sipariş edebilir ve sonra zaman farkını hesaplayabilirim. Olaylar katlanarak dağıtılmalıdır, ancak bir histogram çizerken elde ettiğim şey budur: Bilgisayarlardaki saatlerin kesin olmaması, bazı olaylara bağımlı olduklarından daha önce bir …

10 error  measurement-error  exponential 

Küçük ama fark edilir çoklu bağlantı etkisi vardı çok değişkenli regresyon modelini düzeltmeye ederken, varyans enflasyon faktörler tarafından ölçülen ben fark dahilinde (tabii referans kategorisini hariç sonra) bir kategorik değişkenin kategorilerine. Örneğin, sürekli değişkeni y olan bir veri setimiz ve karşılıklı olası münhasır değerleri k olan bir nominal kategorik x …

10 regression  categorical-data  multicollinearity 

Bir tablonun kapasitesine , verilen p ∈ [ 40 … 120 ] için taşma ihtimalinin 2 - p'den daha az olması için karar vermek istiyorum , giriş sayısının belirli bir beklentiyle E isson [ 10 3 … 10 12 ] .CCC2- p2−p2^{-p}p ∈ [ 40 … 120 ]p∈[40…120]p\in[40\dots 120]E∈ [ …

10 poisson-distribution 

Güven aralığı kavramı hakkında kafam karıştı. Özellikle, bilinen ile bir Gauss değişkeni olduğunu ve ortalamanın güven düzeyi ile alt sınır ile .X∼N(μ,σ)X∼N(μ,σ)X \sim N(\mu, \sigma)σσ\sigma % μLμL\mu_L95%95%95\% Deneyi kez yapacağım ve , , , , .555X1X1X_1X2X2X_2X3X3X_3X4X4X_4X5X5X_5 Seçenek 1: Her örneği ayrı ayrı ele ve her için . Ve sonra bu …

10 confidence-interval 

Karşılıklı bilgi fikrini bu ders notlarında (sayfa 5) açıklandığı gibi özellik seçimine uygulamaya çalışıyorum . Platformum Matlab. Ampirik verilerden karşılıklı bilgi hesaplarken bulduğum bir problem, sayının her zaman yukarıya doğru eğimli olmasıdır. Matlab Central'da MI değerini hesaplamak için yaklaşık 3 ~ 4 farklı dosya buldum ve bağımsız rastgele değişkenlerle beslendiğimde …

10 matlab  feature-selection  information-theory  mutual-information 

MeanDecreaseAccuracy sütununda rfobject$importanceve importance(rfobject)arasındaki farkı alamıyorum. Misal: > data("iris") > fit <- randomForest(Species~., data=iris, importance=TRUE) > fit$importance setosa versicolor virginica MeanDecreaseAccuracy MeanDecreaseGini Sepal.Length 0.027078501 0.019418330 0.040497602 0.02898837 9.173648 Sepal.Width 0.008553449 0.001962036 0.006951771 0.00575489 2.472105 Petal.Length 0.313303381 0.291818815 0.280981959 0.29216790 41.284869 Petal.Width 0.349686983 0.318527008 0.270975757 0.31054451 46.323415 > importance(fit) setosa versicolor …

10 r  random-forest  importance 

Anladığım kadarıyla, lojistik regresyondaki üssel beta değeri, söz konusu değişkenin ilgili bağımlı değişken için olasılık oranıdır. Ancak, değer manuel olarak hesaplanan olasılık oranıyla eşleşmiyor. Modelim, diğer göstergelerin yanı sıra sigortayı kullanarak bodurluğu (yetersiz beslenmenin bir ölçüsü) tahmin ediyor. // Odds ratio from LR, being done in stata logit stunting insurance …

10 regression  logistic  interpretation  odds-ratio 

Bazı veri setlerinde stokastik eğim alçalması ile parametreli bir model (örn. Olasılığı en üst düzeye çıkarmak için) eğitilirken, eğitim örneklerinin eğitim veri dağıtımından alındığı yaygın olarak kabul edilir. Dolayısıyla, bir ortak dağıtım modellemekse , her bir eğitim örneği bu dağıtımdan çıkarılmalıdır.( x i , y i )P(X,Y)P(X,Y)P(X,Y)(xi,yi)(xi,yi)(x_i,y_i) Amaç bunun yerine …

10 machine-learning  conditional-probability  reinforcement-learning  gradient-descent 

L1L1L_1AAAb⃗ b→\vec{b} λ > 0 A → b λ → xfA , b⃗ ( x⃗ ) = ∥ A x⃗ - b⃗ ∥22+ λ ∥ x⃗ ∥1fA,b→(x→)=‖Ax→−b→‖22+λ‖x→‖1f_{A,\vec{b}}(\vec{x})=\|A\vec{x}-\vec{b}\|_2^2+\lambda\|\vec{x}\|_1λ > 0λ>0\lambda>0birAAb⃗ b→\vec{b}λλ\lambdax⃗ x→\vec{x} Ancak, değerini girişlerinin pozitif ve eşit olması , teriminin herhangi bir etkisi olmaz (çünkü fiat tarafından). Bu durumda ortaya …

10 regression  matrix  normalization  regularization  sparse 

Güzel sınırlama dağıtım var mı olarak n gider \ infty olduklarını varsayarak iid varyans ile normal dağılımlar \ sigma ^ 2 .max(X1,X2,...,Xn)max(X1,X2,...,Xn)\max( X_1,X_2,...,X_n) nnn∞∞\inftyσ2σ2\sigma^2 Bu kesinlikle akıllıca kanıtlanmış ve güzel bir çözümle iyi bilinen bir sorundur, ancak etrafta kazıyorum ve hiçbir şey bulamadım.

10 distributions  probability  extreme-value 

Birden fazla olası yaklaşım varsa, en temel olanı arıyorum.

10 normal-distribution  multinomial  approximation 

İddia eden bir makale okuyorum X^k= 1N---√Σj = 0N-- 1Xje- i 2 πk j / N,X^k=1N-Σj=0N--1Xje-ben2πkj/N-,\hat{X}_k=\frac{1}{\sqrt{N}}\sum_{j=0}^{N-1}X_je^{-i2\pi kj/N}, (ör. Ayrık Fourier Dönüşümü , DFT) CLT tarafından (karmaşık) bir gauss rastgele değişkene eğilim gösterir. Ancak, bunun genel olarak doğru olmadığını biliyorum. Bu (yanlış) argümanı okuduktan sonra, internette arama yaptım ve bu 2010 …

10 time-series  central-limit-theorem  fourier-transform