«natural-language» etiketlenmiş sorular

Çapraz entropi ve şaşkınlık arasındaki ilişkiyi anlamaya çalışmak. Model için genel olarak M , Şaşkınlık (M) 2 ^ entropi (M) = . Bu ilişki tüm farklı n-gramları, yani unigram, bigram vb.

10 natural-language  entropy  perplexity 

removeSparseTermsFonksiyonun tmpaketteki belgelerine göre, seyreklik budur: A term-document matrix where those terms from x are removed which have at least a sparse percentage of empty (i.e., terms occurring 0 times in a document) elements. I.e., the resulting matrix contains only terms with a sparse factor of less than sparse. Öyleyse, …

10 r  text-mining  natural-language 

Örnekler: İş tanımında bir cümle var: "İngiltere'de Java kıdemli mühendisi". Derin bir öğrenme modelini 2 kategori olarak tahmin etmek istiyorum: English ve IT jobs. Geleneksel sınıflandırma modeli kullanırsam, sadece softmaxson katmanda işlevli 1 etiket tahmin edebilir . Bu nedenle, her iki kategoride "Evet" / "Hayır" ı tahmin etmek için 2 …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

Ders kitabımda idf log(1+Nnt)log(1+Nnt)log(1+\frac{N}{n_t}) nerede NNN: Doküman Sayısı ntntn_t: Terim içeren Belge Sayısı ttt Wikipedia, bu formülü gerçek öğenin düzgünleştirilmiş bir sürümü olarak listeler log(Nnt)log(Nnt)log(\frac{N}{n_t}). Anladığım kadarıyla:log(NN)=0log(NN)=0log(\frac{N}{N})=0 için ∞∞\inftysezgisel görünüyor. Fakatlog(1+Nnt)log(1+Nnt)log(1+\frac{N}{n_t}) den gider log(1+1)log(1+1)log(1+1) için ∞∞\inftyBu çok tuhaf görünüyor ... Dil modellemesinden yumuşatma hakkında biraz şey biliyorum ama orada paydaya …

9 text-mining  natural-language  smoothing 

Sorum genellikle Tekil Değer Ayrışması (SVD) ve özellikle Gizli Semantik İndeksleme (LSI) ile ilgili. Diyelim, 7 belge için 5 kelimelik sıklıklar içeren var.Aword×documentAword×document A_{word \times document} A = matrix(data=c(2,0,8,6,0,3,1, 1,6,0,1,7,0,1, 5,0,7,4,0,5,6, 7,0,8,5,0,8,5, 0,10,0,0,7,0,0), ncol=7, byrow=TRUE) rownames(A) <- c('doctor','car','nurse','hospital','wheel') I matris çarpanlara elde SVD kullanılarak: .AAAA=U⋅D⋅VTA=U⋅D⋅VTA = U \cdot D \cdot …

9 r  svd  natural-language  latent-semantic-indexing 

Bu sorunun burada tam olarak uygun olup olmadığından emin değilim, eğer değilse lütfen silin. Ben ekonomi alanında yüksek lisans öğrencisiyim. Sosyal sigortalardaki sorunları araştıran bir proje için, uygunluk değerlendirmelerini ele alan çok sayıda idari vaka raporuna (> 200k) erişebiliyorum. Bu raporlar muhtemelen bireysel idari bilgilere bağlanabilir. Bu raporlardan nicel analizde …

9 machine-learning  data-mining  econometrics  text-mining  natural-language 

Başlangıçta yığın taşması üzerine sordum ve bu siteye yönlendirildi, işte gidiyor: Bazı denetimsiz içerik seçimi / çıkarma tabanlı belge özetleme yöntemlerini uyguluyorum ve ders kitabımın "günlük olabilirlik oranı" olarak adlandırdığı şeyle ilgili kafam karıştı. Jurafsky & Martin'in Konuşma ve Dil İşleme kitabı kısaca şöyle anlatıyor: Genellikle lambda (w) olarak adlandırılan …

9 natural-language  text-summarization 

Ben metin üzerinde duygu analizi yapmak istiyorum, bazı makaleler geçti, bazıları "Naive Bayes" kullanıyor ve diğer "Tekrarlayan Sinir Ağı (LSTM)" , öte yandan duygu analizi için bir python kütüphanesi gördüm nltk. "Naive Bayes" kullanır Herkes ikisini kullanma arasındaki farkın ne olduğunu açıklayabilir? Ben de bu yazıdan geçtim ama ikisi hakkında …

8 machine-learning  neural-networks  python  natural-language