Veri Bilimi

Word2vec gensim modeli üzerinde çalışıyordum ve gerçekten ilginç buldum. Modelle kontrol edildiğinde bilinmeyen / görünmeyen bir kelimenin nasıl eğitimli modelden benzer terimleri alabileceğini bulmakla meşgul oldum. Mümkün mü? Bunun için word2vec değiştirilebilir mi? Ya da eğitim topluluğunun benzerliklerini bulmak istediğim tüm kelimelere sahip olması gerekir.

11 nlp  deep-learning  word-embeddings  unsupervised-learning 

Ben bir ikili sınıf özniteliği olan bir veri kümesi var. Sınıf +1 (kanser pozitif) ile 623 vaka ve sınıf -1 (kanser negatif) ile 101.671 vaka vardır. Çeşitli algoritmalar denedim (Naif Bayes, Random Forest, AODE, C4.5) ve hepsinin kabul edilemez yanlış negatif oranları var. Random Forest, en yüksek genel tahmin doğruluğuna …

11 classification  random-forest  decision-trees  unbalanced-classes 

Ben dışarı çıkmak ve bazı donanım ile bir küme oluşturmak için para harcamak önce Spark ile denemek için bir dizi VM kurmak üzerinde çalışıyorum. Kısa not: Uygulamalı makine öğreniminde geçmişe sahip bir akademisyenim ve veri biliminde işten biraz çıktım. Araçları bilgisayar için kullanıyorum, nadiren kurmam gerekirdi. 3 VM (1 master, …

11 python  apache-spark  pyspark  ipython 

Rastgele ormanda aşırı sığmayı önlemek istiyorum. Bu bağlamda, mtry, nodesize ve maxnodes vb. Kullanmayı düşünüyorum. Lütfen bu parametreler için değerler seçmeme yardım eder misiniz? R kullanıyorum. Ayrıca, mümkünse, lütfen rastgele orman için k-kat çapraz doğrulamayı nasıl kullanabileceğimi söyle (R'de).

11 machine-learning  data-mining  r  predictive-modeling  random-forest 

Yakın zamanda LinkedIn API'sine bağlanmak için yeni bir R paketi keşfettim . Ne yazık ki LinkedIn API'sı başlangıç ​​olarak oldukça sınırlı görünüyor; örneğin, yalnızca şirketlerle ilgili temel verileri alabilirsiniz ve bu, bireylerle ilgili verilerden ayrılır. Sitede manuel olarak yapabileceğiniz ancak API aracılığıyla mümkün olmayan belirli bir şirketin tüm çalışanları hakkında …

11 data-mining  social-network-analysis  crawling  scraping 

40 bağımsız değişkeni (x1, ..., x40) ve bir bağımlı değişkeni (y) olan bir denklem dizisini çözmeye çalışıyorum. Denklemlerin toplam sayısı (satır sayısı) ~ 300'dür ve y ile öngörülen değer arasındaki toplam kare toplamı hatasını en aza indiren 40 katsayı seti için çözmek istiyorum. Benim sorunum matris çok seyrek ve seyrek …

11 machine-learning  regression  algorithms  genetic 

Alan duyarlı çarpanlara ayırma makinelerinin (FFM) standart çarpanlara ayırma makinelerine (FM) kıyasla ne olduğunu açıklayabilir misiniz? Standart: http://www.ismll.uni-hildesheim.de/pub/pdfs/Rendle2010FM.pdf "Alan Bilinci": http://www.csie.ntu.edu.tw/~r01922136/kaggle-2014-criteo.pdf

11 machine-learning  recommender-system 

Size varsayımsal bir çevrimiçi kümeleme uygulaması örneği göstereyim: Mavi küme A'ya n puanları 1,2,3,4 ve kırmızı küme B'ye b, 5,6,7 noktaları tahsis edilir. N + 1 zamanında, mavi kümeye A atanan ancak aynı zamanda b noktasının mavi kümeye A atanmasına neden olan yeni bir a noktası eklenir. Bitiş noktalarında 1,2,3,4, …

11 machine-learning  clustering 

2 veri setim var, biri tespit etmek istediğim şeyin pozitif örneklerine sahip, diğeri ise etiketlenmemiş örneklere sahip. Hangi yöntemleri kullanabilirim? Örnek olarak, birkaç yapılandırılmış e-posta özelliğine dayalı olarak spam e-postasını algılamayı anlamak istediğimizi düşünelim. 10000 spam e-postasının bir veri kümesine ve spam olup olmadığını bilmediğimiz bir 100000 e-posta veri kümesine …

11 classification  semi-supervised-learning 

Sunucu monitör alarmları almak ve bir sorunun kök nedenini belirlemek için pybrain bakıyorum. Denetimli öğrenmeyi kullanarak ve eğitim veri setlerini iyileştirerek eğitimden memnunum. Veriler şu şekilde yapılandırılmıştır: Sunucu Tipi A # 1 Alarm türü 1 Alarm tipi 2 Sunucu Tipi A # 2 Alarm türü 1 Alarm tipi 2 Sunucu …

11 machine-learning  neural-network 

R temel işlevi glm()MLE için Fishers Scoring kullanırken glmnet, aynı denklemi çözmek için koordinat iniş yöntemini kullanıyor gibi görünüyor. Koordinat inişi Fisher Scoring'den daha zaman verimlidir, çünkü Fisher Scoring diğer bazı matris işlemlerine ek olarak ikinci dereceden türev matrisini hesaplar. Bu da koordinat inişini aynı görevi O (np) zamanında yapabilir. …

11 machine-learning  r  algorithms  optimization 

Google Trends haftalık verileri döndürür, böylece günlük / aylık verilerimle birleştirmenin bir yolunu bulmam gerekir. Şimdiye kadar yaptığım, örnek için her seriyi günlük verilere bölmek: dan: 2013-03-03 - 2013-03-09 37 için: 2013-03-03 37 2013-03-04 37 2013-03-05 37 2013-03-06 37 2013-03-07 37 2013-03-08 37 2013-03-09 37 Ama bu benim problemime çok …

11 time-series 

Sıklıkla diziler olan bazı tahmin değişkenlerinin olduğu bir model (sınıflandırma veya regresyon) yapıyorum ve bunları modelde yordayıcılar olarak dahil etmek için mümkün olan en iyi şekilde özetlemek için teknik öneriler bulmaya çalışıyorum. Somut bir örnek olarak, bir müşterinin önümüzdeki 90 gün içinde şirketi terk edip etmeyeceğini tahmin etmek için bir …

11 machine-learning  feature-selection  time-series 

Genelleştirilmiş doğrusal modelin (GLM) istatistiksel bir model olarak kabul edileceğini düşündüm, ancak bir arkadaşım bana bazı makalelerin bunu bir makine öğrenme tekniği olarak sınıflandırdığını söyledi. Hangisi doğru (ya da daha kesin)? Herhangi bir açıklama takdir edilecektir.

11 machine-learning  statistics  glm 

Şirketimizde, raporlar ve diğer analizler oluşturmak için harita azaltma algoritmaları çalıştırmamız gereken çok sayıda yapılandırılmamış veri içeren bir MongoDB veritabanımız var. Gerekli analizleri uygulamak için seçim yapabileceğimiz iki yaklaşımımız var: Bir yaklaşım MongoDB'den bir Hadoop kümesine veri çıkarmak ve analizi tamamen Hadoop platformunda yapmaktır. Bununla birlikte, bu, platformun (yazılım ve …

11 scalability  apache-hadoop  map-reduce  mongodb