İstatistikler ve Büyük Veri

Boyutsallık laneti hakkında okuduğum yerler, öncelikle kNN ve genel olarak doğrusal modellerle bağlantılı olarak açıklıyor. Veri kümesindeki 100k veri noktasına sahip binlerce özellik kullanarak Kaggle'daki en üst sıralayıcıları düzenli olarak görüyorum. Diğerleri arasında ağırlıklı olarak Artırılmış ağaçlar ve NN kullanırlar. Pek çok özellik çok yüksek görünüyor ve boyutsal lanetten etkileneceklerini …

15 neural-networks  svm  k-means  k-nearest-neighbour  high-dimensional 

Temel makine öğreniminde aşağıdaki "temel kurallar" öğretilir: a) verilerinizin boyutu, hipotez kümenizin VC boyutunun boyutunun en az 10 katı olmalıdır. b) N bağlantılı bir sinir ağının VC boyutu yaklaşık N'dir. Yani derin bir öğrenme sinir ağı milyonlarca ünite dediğinde, bu milyarlarca veri noktasına sahip olmamız gerektiği anlamına mı geliyor? Lütfen …

15 machine-learning  neural-networks  deep-learning  vc-dimension 

Model uyumlarını karşılaştırmak için R'de bir olasılık oranı testi yapmanın yollarını arıyordum. İlk kendim kodlu, varsayılan hem bulundu anova()fonksiyonu ve aynı zamanda lrtest()içinde lmtestpaketin. Ancak kontrol ettiğimde anova(), 'test' parametresi "LRT" olarak ayarlanmış olsa bile, her zaman diğer ikisinden biraz farklı bir p değeri üretir. Is anova()aslında bazı ustaca farklı …

15 r  anova  likelihood-ratio 

Derin öğrenme ile ilgili bu öğreticiye göre , ağırlık azalması (normalleştirme) genellikle önyargı terimlerine uygulanmaz. Neden? Arkasındaki önem (sezgi) nedir?

15 machine-learning  neural-networks  bias  regularization 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 3 yıl önce kapalı . Ben işlevlerle LASSO yöntemi kullanarak R lojistik regresyon inşa ediyorum cv.glmnetseçilmesi için lambdave glmnetnihai model için. Otomatik model seçimiyle ilgili …

15 r  logistic  categorical-data  lasso  glmnet 

Eğer burada , yani tüm aynı varyanslı ortalama sıfır iid normal rasgele değişkenlerdir, sonraY=∑i=1NX2iY=∑i=1NXi2Y=\sum_{i=1}^{N}X_i^2Xi∼N(0,σ2)Xi∼N(0,σ2)X_i \sim \mathcal{N}(0,\sigma^2)XiXiX_iY∼Γ(N2,2σ2).Y∼Γ(N2,2σ2).Y \sim \Gamma\left(\frac{N}{2},2\sigma^2\right). Ki kare dağılımının gama dağılımının özel bir durumu olduğunu biliyorum, ancak rastgele değişken için ki kare dağılımını . Herhangi bir yardım lütfen?YYY

15 chi-squared  gamma-distribution 

X ( x.ts) ve Y ( y.ts) konumlarına göre bir balığın hareket örüntüleri üzerindeki zaman serisi verileri üzerinde otokorelasyon hesapladım . R kullanarak, aşağıdaki işlevleri çalıştırdım ve aşağıdaki grafikleri ürettim: acf(x.ts,100) acf(y.ts,100) Benim sorum şu, bu grafikleri nasıl yorumlayabilirim? Herhangi bir modeli bildirmek için hangi bilgilere ihtiyaç vardır? Ben internette …

15 r  time-series  autocorrelation 

Veri kümemi geçerli ortalamasından standart sapmasından hedef ortalamaya ve standart sapmaya dönüştürmek için bir yöntem arıyorum. Temel olarak, dispersiyonu küçültmek / genişletmek ve tüm sayıları ortalamaya ölçeklemek istiyorum. Biri standart sapma için ve diğeri ortalama için olmak üzere iki ayrı doğrusal dönüşüm yapmak için işe yaramaz. Hangi yöntemi kullanmalıyım? Çözüm …

15 data-transformation  standard-deviation  mean 

Degrade iniş algoritmasının genel ayarında, burada geçerli nokta, adım boyutu ve degrade değerlendirildi . x n η g r a d i e n t x n x nxn + 1= xn- η∗ gr a dben e n txnxn+1=xn−η∗gradientxnx_{n+1} = x_{n} - \eta * gradient_{x_n}xnxnx_nηη\etagr a dben e n txngradientxngradient_{x_n}xnxnx_n …

15 algorithms  optimization 

Bayes modelinde kısa aralıklı varlık getirilerini modellemek için dağıtımda kullanmak istiyorum. Dağıtım için her iki serbestlik derecesini (modelimdeki diğer parametrelerle birlikte) tahmin etmek istiyorum. Varlık getirilerinin oldukça normal olmadığını biliyorum, ama bunun ötesinde çok fazla şey bilmiyorum. Böyle bir modeldeki serbestlik dereceleri için uygun, hafif bilgilendirici bir ön dağıtım nedir?

15 distributions  bayesian  modeling  prior 

İki model (h2o AutoML kullanarak ikili sınıflandırıcılar) eğittim ve kullanmak için bir tane seçmek istiyorum. Aşağıdaki sonuçlara sahibim: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 aucve loglosskolonlar çapraz doğrulama metriklerdir (çapraz doğrulama sadece eğitim verileri kullanır). …

15 model-selection  validation  auc  gini  log-loss 

FaceNet belgesini okuyordum ve giriş bölümünün 3. paragrafında şöyle diyor: Derin ağlara dayanan önceki yüz tanıma yaklaşımları, bilinen bir dizi yüz kimliği üzerinde eğitilmiş bir sınıflandırma katmanı kullanır ve daha sonra, eğitimde kullanılan kimlikler kümesinin ötesinde tanınmayı genelleştirmek için kullanılan bir temsil olarak bir ara darboğaz katmanını alır. Bir ara …

15 neural-networks  image-processing 

Amacım sensör sinyallerini sınıflandırmak. Çözümümün şimdiye kadarki kavramı: i) Ham sinyalden mühendislik özellikleri ii) ReliefF ve kümeleme yaklaşımı ile ilgili özellikleri seçme iii) NN, Random Forest ve SVM uygulayın Ancak bir ikilemde sıkışıp kaldım. İi) ve iii) 'de, ReliefF için k-En Yakın Neigbours veya sensör sinyalinin değerlendirildiği pencere uzunluğu veya …

15 feature-selection  hyperparameter  optimization 

Diskriminant analizinde, bağımlı değişken kategoriktir, ancak doğrusal diskriminant analizinde bağımsız değişken olarak bazı sürekli değişkenlerle birlikte kategorik bir değişken (örn. Konut durumu: kırsal, kentsel) kullanabilir miyim?

15 logistic  categorical-data  discriminant-analysis  regression-strategies 

Model değerlendirmesi için bootstrapping kullanırken, her zaman kullanıma hazır örneklerin doğrudan bir test seti olarak kullanıldığını düşündüm. Ancak, bunun için durum olmadığı görülüyor kaldırılan scikit-öğrenmeBootstrap dışı torba veri alt kümeden değiştirme ile çizim test kümesi oluşturmak gibi görünüyor yaklaşımı,. Bunun arkasındaki istatistiksel mantık nedir? Bu tekniğin sadece torba dışı örnek …

15 cross-validation  bootstrap  random-forest  scikit-learn  bagging