Veri Bilimi

Birçok kez üzerinde gerçekten hiçbir sınıflandırma yapamadığım bir veri kümesini analiz ettim. Bir sınıflandırıcı alıp alamayacağımı görmek için genellikle aşağıdaki adımları kullandım: Sayısal değerlere karşı etiket kutu grafikleri oluşturun. Sınıfların ayrılabilir olup olmadığını görmek için boyutsallığı 2 veya 3'e düşürün, bazen LDA'yı da denedim. SVM'lere ve Rastgele Ormanlara zorla uymaya …

11 machine-learning  classification  deep-learning  class-imbalance  bayes-error 

Bu iki evrişim operasyonu şu anda derin öğrenmede çok yaygındır. Bu yazıda dilate kıvrımlı tabaka hakkında okudum: WAVENET: HAM SES İÇİN GENEL BİR MODEL ve Konvolüsyon bu yazıda yer almaktadır: Anlamsal Segmentasyon için Tamamen Konvolüsyon Ağları Her ikisi de görüntüyü yukarı örnekliyor gibi görünüyor, ancak fark nedir?

11 machine-learning  deep-learning  convnet  computer-vision  convolution 

Şu anda veri analizi için R'yi yoğun olarak kullanan Big Data hakkında bir makale alıyorum. Oyun nedenleriyle bilgisayarımda bir GTX1070 var. Bu yüzden, öğretmenlerimin bana yaptıkları bazı şeylerin işlenmesini hızlandırmak için bunu kullanabilmemin gerçekten harika olacağını düşündüm, ancak bunu yapmak hiç de kolay görünmüyor. GpuR, CUDA, Rtools ve birkaç diğer …

11 r  gpu  parallel 

Bir süredir makine öğrenimi ve biyoinformatik üzerinde çalışıyorum ve bugün veri madenciliğinin ana genel sorunları hakkında bir meslektaşımla sohbet ettim. Meslektaşım (makine öğrenimi uzmanı), onun görüşüne göre, makine öğreniminin tartışmasız en önemli pratik yönünün, makine öğrenme modelinizi eğitmek için yeterli veri toplayıp toplamadığınızı nasıl anlayacağınız olduğunu söyledi . Bu ifade …

11 machine-learning  data-mining  dataset  data-cleaning  data 

Giriş Verileri: XXX -> tişörtün özellikleri (renk, logo vb.) YYY -> kar marjı Yukarıdaki ve üzerinde rastgele bir orman eğitimi aldım ve bir test verisinde makul bir doğruluk elde ettim. BendeYXXXYYY P(Y|X)P(Y|X)P(Y|X) . Şimdi, yani özelliklerinin olasılık dağılımını bulmak istiyorum, bu kadar kar marjı bekliyorum.XP(X|Y)P(X|Y)P(X|Y)XXX Bunu rastgele bir ormanla (veya …

11 machine-learning  random-forest  generative-models 

Şu anda büyük bir csv dosyasında (60 milyondan fazla satır ile> 70GB) bir model eğitmeye çalışıyorum. Bunu yapmak için tf.contrib.learn.read_batch_examples kullanıyorum. Bu işlevin verileri nasıl okuduğunu anlamakta zorlanıyorum. Örneğin, 50.000'lik bir toplu iş boyutu kullanıyorsam, dosyanın ilk 50.000 satırını okuyor mu? Tüm dosya (1 dönem) üzerinde döngü istiyorum eğer tahminci.fit …

11 python  tensorflow 

"Derin sıralama ile ince taneli görüntü benzerliğini öğrenme" kağıttan ağ mimarisi var ve üç paralel ağ çıktısının doğrusal gömme katmanı kullanılarak nasıl birleştirildiğini anlayamıyorum. Bu katmanda, makalede verilen tek bilgi Son olarak, düğünleri üç bölümden normalleştiriyoruz ve doğrusal bir gömme katmanı ile birleştiriyoruz. Gömme boyutu 4096'dır. Herkes bu katman hakkında …

11 neural-network  deep-network 

Kendim topladığım verilerle tensorflow kullanarak basit bir sinir ağı yapıyorum, ancak işbirliği yapmıyor: PI düzeltemediğim veya düzeltmeyi bulamadığım bir hatayla karşılaştı ve yardımınızı çok isterim. Hata mesajı: TypeError: 2861.6152'nin 2861.6152 getirme argümanı geçersiz bir türe sahip, bir dize veya Tensör olmalıdır. (Bir float32'yi bir Tensöre veya Operasyona dönüştüremezsiniz.) Hata, kodumda …

11 machine-learning  python  neural-network  tensorflow 

Basit bir chatbot oluşturuyorum. Kullanıcı yanıtından bilgi almak istiyorum. Örnek bir senaryo: Bot : Hi, what is your name? User: My name is Edwin. Edwin ismini cümleden çıkarmak istiyorum. Ancak, kullanıcı aşağıdaki gibi farklı şekillerde yanıt verebilir: User: Edwin is my name. User: I am Edwin. User: Edwin. Kelimeler arasındaki …

11 python  nlp 

Her zaman temelde bir dağıtım varsaydığımız için bu tanım pek geçerli değildir. Peki bir model gerçekten nedir? Belirtilen hiperparametreleri olan bir GBM bir model olarak düşünülebilir mi? Bir model bir kurallar toplamı mıdır?

11 machine-learning 

Matplotlib kütüphanesi özellikle Jupyter Notebook içinde çok yetenekli ama interactiveness yoksun. Plot.ly gibi iyi bir çevrimdışı çizim aracı istiyorum .

11 python  visualization  pca  jupyter 

Belgeleri sınıflandırmak için CNN (evriyal sinir ağı) kullanmaya çalışıyorum. Kısa metin / cümleler için CNN birçok makalede incelenmiştir. Ancak, hiçbir makalede uzun metin veya belge için CNN kullanılmamıştır. Benim sorunum, bir belgede çok fazla özellik olması. Veri kümemde her belgede 1000'den fazla simge / kelime var. Her örneği bir CNN'ye …

11 classification  neural-network  text-mining  convnet  word2vec 

Amazon'un Alexa , Nuance'nin Mix'i ve Facebook'un Wit.ai'sinin tümü, bir metin komutunun bir amaca nasıl dönüştürüleceğini belirtmek için benzer bir sistem kullanıyor - yani bir bilgisayarın anlayacağı bir şey. Bunun için "resmi" adın ne olduğundan emin değilim ama buna "niyet tanıma" diyorum. Temelde "lütfen ışıklarımı% 50 parlaklığa ayarla" seçeneğinin bir …

11 machine-learning  nlp 

Gelecek tahmin etmek için kelime listesinden ne tür özellikler çıkarmaya çalışacaksınız, mevcut kelime mi yoksa sadece karakter karışıklığı mı? Orada bulduğum görevin tanımı var . Belirli bir kelimenin İngilizce olup olmadığını cevaplayabilecek bir program yazmalısınız. Bu kolay olurdu - sadece sözlüğe bakmanız gerekir - ancak önemli bir kısıtlama vardır: programınız …

11 machine-learning  nlp  text-mining  algorithms 

Word2vec için tamamen yeniyim, bu yüzden lütfen benimle taşıyın. Ben 1000-3000 arasında, tweets bir dizi içeren metin dosyaları bir dizi var. Ben ortak bir anahtar kelime ("kw1") seçtim ve word2vec kullanarak "kw1" için anlamsal olarak alakalı terimler bulmak istiyor. Örneğin, anahtar kelime "elma" ise, girdi dosyasına dayalı olarak "ipad" "os" …

11 machine-learning  nlp  text-mining