İstatistikler ve Büyük Veri

Bishop'u GMM için EM algoritması ve GMM ile k-ortalamaları arasındaki ilişki üzerine okuyorum. Bu kitapta k-means'ın GMM'nin zor atanmış bir versiyonu olduğu söyleniyor. Merak ediyorum ki, kümelenmeye çalıştığım veriler Gauss değilse, k-Ortalamaları kullanamam (ya da en azından kullanmak uygun değil)? Örneğin, veriler her biri 0 veya 1 değerine sahip 8 …

21 clustering  data-mining  k-means  gaussian-mixture 

Verilerime doğrusal bir model uyguluyorum: yben= β0+ β1xben+ ϵben,εben∼ N( 0 , σ2) .yben=β0+β1xben+εben,εben~N-(0,σ2). y_{i}=\beta_{0}+\beta_{1}x_{i}+\epsilon_{i}, \quad\epsilon_{i} \sim N(0,\sigma^{2}). Bootstrap yöntemini kullanarak katsayıların ( , ) güven aralığını (CI) tahmin etmek istiyorum . Bootstrap yöntemini uygulamanın iki yolu vardır:β0β0\beta_{0}β1β1\beta_{1} Eşleştirilmiş yanıt tahmincisi örneği: çiftlerini rastgele yeniden örnekleyin ve her çalışmaya doğrusal …

21 regression  bootstrap 

Makine öğrenimi ve örüntü tanıma bağlamında Çekirdek Hüner denen bir kavram vardır . Bir işlevin çekirdek işlevi olup olmayacağını belirlemem istendiğinde karşılaşılan sorunlar, tam olarak ne yapılmalı? Önce polinom, RBF ve Gaussian gibi üç veya dört çekirdek işlevi olup olmadığını kontrol etmeli miyim? O zaman ne yapmam gerekiyor? Olumlu kesin …

21 machine-learning  kernel-trick 

Ben glm işlevini çalıştırmak aşağıdaki sonucu var. Aşağıdaki değerleri nasıl yorumlayabilirim: Boş sapma Artık sapma AIC Uyumun iyiliği ile ilgili bir şeyleri var mı? R-karesi veya başka bir önlem gibi bu sonuçlardan bir miktar uyum ölçüsü hesaplayabilir miyim? Call: glm(formula = tmpData$Y ~ tmpData$X1 + tmpData$X2 + tmpData$X3 + as.numeric(tmpData$X4) …

21 r  regression  generalized-linear-model 

Birisi LDA hiperparametrelerinin doğal yorumunun ne olduğunu açıklayabilir mi? ALPHAve BETAsırasıyla (belge başına) konu ve (konu başına) kelime dağılımları için Dirichlet dağılımlarının parametreleridir. Bununla birlikte, birisi bu hiperparametrelerin daha küçük değerlere göre daha büyük değerlerini seçmenin ne anlama geldiğini açıklayabilir mi? Bu, belgelerdeki konuların azlığı ve kelimelerin konuların karşılıklı olarak …

21 interpretation  prior  topic-models  hyperparameter 

Hangi dağılımlar, bağımsız gözlemlerin bir örneğindeki parametrelerin maksimum olabilirlik tahminleri için kapalı form çözümlerine sahiptir?

21 distributions  mathematical-statistics  maximum-likelihood 

Bu sorunun gelecekteki ziyaretçilere yardımcı olması olası değildir; yalnızca küçük bir coğrafi alan, belirli bir zaman anı veya genel olarak İnternet'in dünya çapında izleyicileri için geçerli olmayan olağanüstü dar bir durumla ilgilidir. Bu soruyu daha geniş ölçüde uygulanabilir kılmak için yardım için, için yardım merkezini ziyaret edin . Kapalı 7 …

21 r  gbm 

R'de Genelleştirilmiş Doğrusal Karışık Model çalıştırdım ve iki öngörücü arasında bir etkileşim etkisi ekledim. Etkileşim anlamlı değildi, ancak ana etkiler (iki öngörücü) her ikisi de vardı. Şimdi birçok ders kitabı örneği, etkileşimin önemli bir etkisi varsa, ana etkilerin yorumlanamayacağını söylüyor. Peki ya etkileşiminiz önemli değilse? İki öngörücünün yanıt üzerinde bir …

21 logistic  mixed-model  interaction  interpretation  regression-coefficients 

Fonksiyonel temel bileşen analizi (FPCA) tökezlediğim ve asla anlayamadığım bir şey. Bütün bunlar ne hakkında? Bkz Shang 2011 tarafından "işlevsel temel bileşenler analizinin bir anket" ve ben gerekçe ediyorum: PCA, “boyutsallığın laneti” nedeniyle fonksiyonel verilerin analizinde ciddi zorluklarla karşılaşmaktadır (Bellman 1961). “Boyutsallığın laneti” yüksek boyutlu uzayda veri esnekliğinden kaynaklanmaktadır. PCA'nın …

21 time-series  pca  dimensionality-reduction 

Rastgele değişken kavramını fonksiyon olarak anlamakta sorunlar yaşıyorum. Mekaniği anlıyorum (sanırım) ama motivasyonu anlamıyorum ... Diyelim ki bir olasılık üçlüsüdür , burada , bu aralıktaki Borel- cebiri ve normal Lebesgue ölçüsüdür. Let rasgele bir değişken için öyle ki , , ..., , bu nedenle , 1'den 6'ya kadar değerler üzerinde …

21 probability  random-variable  measure-theory 

Küçük numune boyutunun yetersiz güç ve tip 2 hatasına yol açabileceğini öğrendim. Bununla birlikte, küçük örneklerin genellikle güvenilmez olabileceğini ve şans eseri herhangi bir sonuca yol açabileceğini hissediyorum. Bu doğru mu?

21 hypothesis-testing  small-sample 

Arka fon Varyanstan önce en sık kullanılan zayıf yönlerden biri parametreleri olan ters gamadır (Gelman 2006) .α = 0.001 , β= 0.001α=0.001,β=0.001\alpha =0.001, \beta=0.001 Bununla birlikte, bu dağılım yaklaşık% 90 CI'ye sahiptir .[ 3 × 1019, ∞ ][3x1019,∞][3\times10^{19},\infty] library(pscl) sapply(c(0.05, 0.95), function(x) qigamma(x, 0.001, 0.001)) [1] 3.362941e+19 Inf Bu, ben …

21 bayesian  multilevel-analysis  prior 

Bu sorunun cevabı burada zaten var : Maliyet işlevindeki değişim nasıl olumlu olabilir? (1 cevap) Sinir ağım öğrenmediğinde ne yapmalıyım? (5 cevaplar) Geçen ay kapalı . 4 tip diziyi sınıflandırmak için bir model (Tekrarlayan Sinir Ağı) eğitimi alıyorum. Eğitimimi yürütürken eğitim grubumdaki örneklerin% 90'ından fazlasını doğru bir şekilde sınıflandırdığım noktaya …

21 machine-learning  neural-networks  loss-functions  rnn  training-error 

Bir şeyi yanlış mı anlıyorum. Bu benim kodum sklearn kullanma import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from sklearn import decomposition from sklearn import datasets from sklearn.preprocessing import StandardScaler pca = decomposition.PCA(n_components=3) x = np.array([ [0.387,4878, 5.42], [0.723,12104,5.25], [1,12756,5.52], [1.524,6787,3.94], ]) pca.fit_transform(x) Çıktı: array([[ -4.25324997e+03, …

21 pca  python  scikit-learn 

Bir darboğaz mimarisini, ResNet kağıdında bulunan ve [iki 3x3 dönüşümlü katman] 'ın [bir 1x1 dönş., Bir 3x3 dönş. 1x1 konveksiyon katmanlarının başka bir yazıda açıklanan boyut küçültme (ve restorasyonu) biçimi olarak kullanıldığını anlıyorum . Ancak, bu yapının neden orijinal düzen kadar etkili olduğu konusunda net değilim. Bazı iyi açıklamalar şunları …

21 residuals  deep-learning  conv-neural-network