Veri Bilimi

Bu forumda tartışılacak olan veri biliminin birkaç eş anlamlı ya da en azından büyük verilerin analiz edildiği ilgili alanlara sahip olduğundan eminim. Benim özel sorum Veri Madenciliği ile ilgili. Birkaç yıl önce Data Mining'de yüksek lisans dersi aldım. Veri Bilimi ve Veri Madenciliği arasındaki farklar nelerdir ve özellikle Veri Madenciliği …

22 data-mining  definitions 

Bu daha genel bir NLP sorusu gibi. Word2Vec yani gömülü bir kelimeyi eğitmek için uygun girdi nedir? Bir makaleye ait tüm cümleler bir korpus'ta ayrı bir belge mi olmalı? Yoksa her makale söz konusu corpus'ta bir belge mi olmalı? Bu sadece python ve gensim kullanan bir örnektir. Corpus cümleye göre …

22 nlp  word-embeddings 

Bunun için yeniyim ve bunun arkasındaki teorik kavramları tam olarak anladığımı söyleyemem. Python'daki birkaç nokta listesi arasındaki KL Diverjansını hesaplamaya çalışıyorum. Bunu denemek ve yapmak için http://scikit-learn.org/stable/modules/generated/sklearn.metrics.mutual_info_score.html adresini kullanıyorum . Karşılaştığım sorun, döndürülen değerin 2 sayı listesi için aynı olması (bunun 1.3862943611198906). Burada bir çeşit teorik hata yapıyorum ama farkedemiyorum. …

22 python  clustering  scikit-learn 

Veri Bilimi, Makine Öğrenimi ve çevresindeki tüm başarı öykülerindeki tüm kasırga ile Veri Bilimcilerinden ve onların öngörücü modellerinden hem gerekçelendirilmiş hem de fazla şişirilmiş beklentiler var. İstatistikleri, Makine Öğrenimi uzmanlarını ve Veri Bilimcilerini uygulama sorumu şudur: özellikle modellerin tahmin doğruluğu konusunda şirketinizdeki iş adamlarından beklentileri nasıl yönetiyorsunuz? Önemsizce söylemek gerekirse, …

22 performance  accuracy 

Arka fon Enerji sayacı okumalarının zaman serisi veri kümesi üzerinde çalışıyorum. Serinin uzunluğu metreye göre değişir - bazıları için birkaç yıl, diğerleri sadece birkaç ay, vb. Üzerinde çalıştığım şeylerden biri, bu zaman serilerinin kümelenmesi. İşim şu an için akademik ve aynı zamanda verilerin analizini yaparken, bazı kümelenmeler yapmak konusunda özel …

22 data-mining  clustering  time-series  beginner 

Xgboost ile verileri analiz ederken daha yeni olan noktalara daha fazla önem vermenin bir yolu var mı?

22 xgboost  weighted-data 

Pascal VOC skor tabloları için algılama görevi için mAP (ortalama Ortalama Hassasiyet) nasıl hesaplanır? http://host.robots.ox.ac.uk:8080/leaderboard/displaylb.php?challengeid=11&compid=4 Söyledi - sayfa 11 : http://homepages.inf.ed.ac.uk/ckiw/postscript/ijcv_voc09.pdf Ortalama Hassasiyet (AP). VOC2007 zorluğu için, hem sınıflandırma hem de saptamayı değerlendirmek için enterpolasyonlu ortalama hassasiyet (Salton ve Mcgill 1986) kullanıldı. Belirli bir görev ve sınıf için, kesinlik / …

22 machine-learning  neural-network  svm  computer-vision  object-recognition 

Ben pitorch yeni ve bu github kodu ile başladı . Kodda 60-61 satırındaki yorumu anlamıyorum "because weights have requires_grad=True, but we don't need to track this in autograd". requires_grad=TrueAutograd'ı kullanmak için degradeleri hesaplamamız gereken değişkenlerden bahsettiğimizi anladım, ancak bunun anlamı "tracked by autograd"nedir?

22 pytorch 

İkili KerasClassifier modelim için kesinlik, hatırlama ve F1 puanını hesaplamak istiyorum, ancak herhangi bir çözüm bulamıyorum. İşte benim gerçek kod: # Split dataset in train and test data X_train, X_test, Y_train, Y_test = train_test_split(normalized_X, Y, test_size=0.3, random_state=seed) # Build the model model = Sequential() model.add(Dense(23, input_dim=45, kernel_initializer='normal', activation='relu')) model.add(Dense(1, kernel_initializer='normal', …

22 machine-learning  neural-network  deep-learning  classification  keras 

Böyle bir Pandas DataFrame var: df = pd.DataFrame({ 'Date': ['2017-1-1', '2017-1-1', '2017-1-2', '2017-1-2', '2017-1-3'], 'Groups': ['one', 'one', 'one', 'two', 'two'], 'data': range(1, 6)}) Date Groups data 0 2017-1-1 one 1 1 2017-1-1 one 2 2 2017-1-2 one 3 3 2017-1-2 two 4 4 2017-1-3 two 5 Bunun gibi yeni bir …

21 python  pandas  dataframe 

Ben 10 veri çerçeveleri var pyspark.sql.dataframe.DataFrameelde, randomSplityanı (td1, td2, td3, td4, td5, td6, td7, td8, td9, td10) = td.randomSplit([.1, .1, .1, .1, .1, .1, .1, .1, .1, .1], seed = 100)Şimdi 9 katılmak istiyorum tdbunu nasıl, tek bir veri çerçevesi içine s'? Ben zaten denedim unionAll, ancak bu işlev sadece …

21 python  apache-spark  cross-validation  pyspark 

Özelliğim olarak 'hour' alanını kullanıyorum, ancak döngüsel bir değer alıyor. '23' ve '0' saat gibi bilgileri korumak için bu özelliği nasıl dönüştürebilirim? Düşünebilmemin bir yolu dönüşüm yapmak. min(h, 23-h) Input: [0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 …

21 feature-extraction  feature-scaling  featurization 

Sinir ağlarını eğitirken, bir hiperparametre bir minibatch büyüklüğündedir. Ortak seçenekler mini seri başına 32, 64 ve 128 elementtir. Mini partinin ne kadar büyük olması gerektiğine dair kurallar / yönergeler var mı? Eğitim üzerindeki etkisini araştıran yayınlar var mı?

21 neural-network  deep-learning  convnet  optimization 

Ben FastText pretrained modeli buradan Fasttext model yüklemeye çalıştım . Wiki.simple.en kullanıyorum from gensim.models.keyedvectors import KeyedVectors word_vectors = KeyedVectors.load_word2vec_format('wiki.simple.bin', binary=True) Ancak, aşağıdaki hataları gösterir Traceback (most recent call last): File "nltk_check.py", line 28, in <module> word_vectors = KeyedVectors.load_word2vec_format('wiki.simple.bin', binary=True) File "P:\major_project\venv\lib\sitepackages\gensim\models\keyedvectors.py",line 206, in load_word2vec_format header = utils.to_unicode(fin.readline(), encoding=encoding) File "P:\major_project\venv\lib\site-packages\gensim\utils.py", …

21 nlp  gensim 

34 giriş sütun ve 8 çıkış sütun içeren bir veri kümesi var. Sorunu çözmenin bir yolu, 34 girişi almak ve her bir çıkış sütunu için bireysel regresyon modeli oluşturmaktır. Bu sorunun özellikle Sinir Ağı kullanılarak sadece bir model kullanılarak çözülüp çözülemeyeceğini merak ediyorum. Çok Katmanlı Perceptron kullandım ama bunun doğrusal …

21 neural-network  regression  tensorflow