Veri Bilimi

"Belge" derken, Wikipedia makaleleri ve haber hikayeleri gibi web sayfalarını da düşündüm. Vanilyalı sözcük uzaklık ölçütlerini ya da en gelişmiş anlamsal uzaklık ölçütlerini veren yanıtları tercih ediyorum, ikincisi için daha güçlü bir tercih.

34 machine-learning  data-mining  nlp  text-mining  similarity 

R'yi kullanan veri bilimi ile sınırlı uğraşımdan, kötü verileri temizlemenin analiz için veri hazırlamanın çok önemli bir parçası olduğunu anladım. Verileri işlemeden önce temizlemek için en iyi yöntemler veya işlemler var mı? Öyleyse, bu en iyi uygulamaların bazılarını uygulayan otomatik veya yarı otomatik araçlar var mı?

34 r  data-cleaning 

Şu anda makine öğrenmesi amacıyla panda ve python içeren bir dosya açmaya çalışıyorum, hepsinin DataFrame'de olması benim için ideal. Şimdi dosya 18GB büyüklüğünde ve RAM'im 32 GB'dir ancak sürekli bellek hataları alıyorum. Tecrübelerinden mümkün mü? Eğer bu sorunu çözmenin daha iyi bir yolunu bilmiyorsanız? (kovan tablosu? RAM'imin boyutunu 64'e yükseltir? …

33 python  bigdata  pandas  anaconda 

Keras kütüphanesinde (veya tensorflow) çoklu GPU'larda bölüm eğitimini nasıl programlayabilirsiniz? 8 GPU'lu bir Amazon ec2 örneğinde olduğunuzu ve hepsini daha hızlı eğitmek için kullanmak istediğinizi varsayalım, ancak kodunuz yalnızca tek bir CPU veya GPU için.

33 python  deep-learning  tensorflow  keras  gpu 

Bu iki kaynaktan NCE'yi (bir aday örnekleme şekli) okudum: Tensorflow yazımı Orjinal kağıt Birisi bana şu konuda yardımcı olabilir: NCE'nin nasıl çalıştığının basit bir açıklaması (Yukarıdakileri ayrıştırmanın ve anlamanın zor olduğunu gördüm, bu yüzden orada sunulan matematiğe yol açan sezgisel bir şey harika olurdu) Yukarıdaki 1. maddeden sonra, bunun Negatif …

32 deep-learning  tensorflow  word-embeddings  sampling  loss-function 

Hadoop 2.0 ve YARN ile Hadoop'un artık yalnızca harita azaltma çözümleriyle bağlı olmadığı söyleniyor. Bu gelişme ile birlikte, Apache Spark vs Hadoop'un HDFS'nin her ikisine de oturduğunu düşünen kullanım durumları nelerdir? Spark'ın tanıtım belgelerini okudum, ancak merak ediyorum herhangi biri Spark'la Hadoop'a kıyasla daha verimli ve daha kolay bir sorunla …

30 apache-hadoop  distributed  knowledge-base 

Yani, son zamanlarda bir Katman Normalleştirme kağıdı var. Keras'larda da bir uygulaması var . Ancak, Tekrarlanan Toplu Normalizasyon (Cooijmans, 2016) ve Toplu Normalleştirilmiş Tekrarlayan Sinir Ağları (Laurent, 2015) başlıklı makaleler olduğunu hatırlıyorum . Bu üç arasındaki fark nedir? Anlamıyorum bu İlgili Çalışma bölümü var: Parti normalizasyonu daha önce tekrarlayan sinir …

30 deep-learning  rnn  normalization  batch-normalization 

Ben araştırma, üzerinde çalışıyorum nerede üç olay KAZANAN ait sınıflandırmak birine ihtiyacı = ( win, draw, lose) WINNER LEAGUE HOME AWAY MATCH_HOME MATCH_DRAW MATCH_AWAY MATCH_U2_50 MATCH_O2_50 3 13 550 571 1.86 3.34 4.23 1.66 2.11 3 7 322 334 7.55 4.1 1.4 2.17 1.61 Şu anki modelim: def build_model(input_dim, output_classes): …

30 python  neural-network  classification  clustering  keras 

Büyük bir veri setiyle ilgili büyük bir veri sorunum var (örneğin 50 milyon satır ve 200 sütun). Veri kümesi, yaklaşık 100 sayısal sütun ve 100 kategorik sütun ve ikili sınıf problemini temsil eden bir yanıt sütunundan oluşur. Kategorik sütunların her birinin önem derecesi 50'den az. Derin öğrenme yöntemlerine mi yoksa …

30 machine-learning  classification  deep-learning 

Neden standart normalleştirme yerine softmax kullanılır? Bu sorunun en üst cevabının yorum alanında, @Kilian Batzner da beni şaşırtan 2 soru sordu. Sayısal faydalar dışında kimse açıklama yapmıyor gibi görünüyor. Çapraz Entropi Kaybı kullanma nedenlerini anlıyorum, ancak bunun softmax ile ilişkisi nedir? "Softmax işlevi tahminler ile gerçekler arasındaki çapraz entropiyi en …

30 machine-learning  deep-learning 

It seems to me that the VVV function can be easily expressed by the QQQ function and thus the VVV function seems to be superfluous to me. However, I'm new to reinforcement learning so I guess I got something wrong. Definitions Q- and V-learning are in the context of Markov …

30 machine-learning  reinforcement-learning 

Makine öğrenim görevlerinde verileri karıştırmak ve normalleştirmek normaldir. Normalleştirmenin amacı açıktır (aynı özellik değer aralığına sahip için). Ancak, çok fazla mücadele ettikten sonra, verileri karıştırmak için değerli bir sebep bulamadım. Bu yazı okudum var burada biz verileri karıştırmak gerektiğinde tartışan, ama biz verileri karıştırmak neden belli değil mi. Dahası, parti …

30 machine-learning  neural-network  deep-learning 

Makine Öğrenmesi bağlamında, Zemin Gerçeği kavramının çok fazla kullanıldığını gördüm . Çok şey aradım ve Wikipedia'da şu tanımı buldum : Makine öğrenmesinde "temel gerçek" terimi, eğitim setinin denetimli öğrenme teknikleri için sınıflandırılmasının doğruluğunu ifade eder. Bu, araştırma modellerini kanıtlamak veya yanlışlamak için istatistiksel modellerde kullanılır. "Temel gerçeğe uygunluk" terimi, bu …

30 machine-learning  neural-network  deep-learning 

Aşağıdakine benzeyen bir liste listesini Pandas Dataframe'e dönüştürmeye çalışıyorum [['New York Yankees ', '"Acevedo Juan" ', 900000, ' Pitcher\n'], ['New York Yankees ', '"Anderson Jason"', 300000, ' Pitcher\n'], ['New York Yankees ', '"Clemens Roger" ', 10100000, ' Pitcher\n'], ['New York Yankees ', '"Contreras Jose"', 5500000, ' Pitcher\n']] Temel olarak dizideki …

30 pandas 

100 sayısal özellikli 50k örneklerin üzerinde bir degrade yükseltme modeli yetiştirmeye çalışıyorum. XGBClassifieriken benim makinede 43 saniye içinde kolları 500 ağaçları, GradientBoostingClassifierkolları sadece 10 ağaç (!) 1 dakika ve 2 saniye :( Ben rahatsız etmedi o saat sürer olarak 500 ağaç büyümeye çalışan. Aynı kullanıyorum learning_rateve max_depthayarları , aşağıya bakınız. …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning