Veri Bilimi

Keras paketi hakkındaki bilgilerimi genişletiyorum ve mevcut bazı modellerle çalışıyorum. Çözmeye çalıştığım ve farklı modeller uyguladığım bir NLP ikili sınıflandırma sorunum var. Bazı sonuçlarla çalıştıktan ve LSTM hakkında daha fazla okuduktan sonra, bu yaklaşım denediğim her şeyden (birden çok veri kümesinde) çok daha üstün görünüyor. "Ne zaman neden / kendi …

12 neural-network  nlp  lstm  recurrent-neural-net 

Keras'ta paylaşılan katmanları uygulamaya çalışıyorum. Keras'ın sahip olduğunu görüyorum keras.layers.concatenate, ancak kullanımı ile ilgili belgelerden emin değilim. Birden çok paylaşılan katman oluşturmak için kullanabilir miyim? Keras kullanarak aşağıda gösterildiği gibi basit bir ortak sinir ağını uygulamanın en iyi yolu ne olabilir? 3 NN'nin tümü için giriş, çıkış ve paylaşılan katmanların …

12 machine-learning  neural-network  deep-learning  keras  multitask-learning 

Veri dengesizliği ile neden uğraşmamız gerektiğini bilmem gerekiyor. Bununla nasıl başa çıkacağımı ve yukarı örnekleme ya da aşağı örnekleme ya da Smote kullanarak sorunu çözmek için farklı yöntemler biliyorum. Örneğin, 100 hastalığın yüzde 1'inde nadir bir hastalığım varsa ve eğitim setim için dengeli bir veri seti oluşturmaya karar verdiğimi varsayalım: …

12 classification  dataset  sampling  class-imbalance 

Her gün oluşturulan çok boyutlu büyük bir veri setim var. Önceki günlere kıyasla herhangi bir 'anomali' tespit etmek için iyi bir yaklaşım ne olurdu? Bu sinir ağları ile ele alınabilecek uygun bir problem midir? Herhangi bir öneriniz için teşekkür ederiz. ek bilgi: örnek yok, bu nedenle yöntem anormalliklerin kendisini tespit …

12 tensorflow  keras  anomaly-detection 

Bir Kaggle yarışması için kullandığım buna benzer (ref 1) gibi Keras'ta kıvrımlı + LSTM modelim var. Mimari aşağıda gösterilmiştir. Etiketli 11000 örnek setimde eğitim aldım (iki sınıf, başlangıç ​​yaygınlığı ~ 9: 1, bu yüzden% 20 doğrulama bölünmesi ile 50 dönem için 1'leri 1/1 oranına kadar örnekledim). Bir süre gürültü ve …

12 keras  cross-validation  overfitting 

Bir kullanıcının iş becerilerini alan ve bu becerilere dayanarak onlar için en ideal kariyeri öneren küçük, kişisel bir proje üzerinde çalışıyorum. Bunu başarmak için bir iş listesi veri tabanı kullanıyorum. Şu anda, kod aşağıdaki gibi çalışır: 1) Listede belirtilen becerileri elde etmek için her iş listesinin metnini işleyin 2) Her …

12 nlp  text-mining  similarity  cosine-distance 

Şu anda Kısıtlı Boltzmann Makineleri ile oynuyorum ve o zamandan beri el yazısı rakamları onunla sınıflandırmayı denemek istiyorum. Oluşturduğum model şimdi oldukça süslü bir üretken model ama onunla nasıl daha ileri gideceğimi bilmiyorum. Gelen bu makalede yazar diyelim, bu iyi bir üretken bir model oluşturduktan sonra, bir " sonra bir …

12 classification  rbm 

Eğlenmek için uzaktan kumandalı kendi kendine giden bir araba yapıyorum. Ahududu Pi'yi yerleşik bilgisayar olarak kullanıyorum; ve aracın çevresiyle ilgili geri bildirim için Raspberry Pi kamera ve mesafe sensörleri gibi çeşitli eklentiler kullanıyorum. Video karelerini tensörlere dönüştürmek için OpenCV kullanıyorum ve yol sınırlarını ve engelleri öğrenmek için kıvrımlı bir sinir …

12 reinforcement-learning  supervised-learning 

Tasarladığım bir algoritmada bir sonraki adımımın ne olması gerektiği konusunda yardıma ihtiyacım var. NDA'lar nedeniyle fazla bir şey açıklayamıyorum, ancak genel ve anlaşılır olmaya çalışacağım. Temel olarak, algoritmalarda birkaç adımdan sonra, bu var: Sahip olduğum her müşteri ve bir ay boyunca yaptıkları etkinlikler için, ilk adımlar sırasında etkinlikleri birkaç kategoriye …

12 classification  clustering  time-series 

Kümelenmek istediğim beş setim olduğunu varsayalım. Burada açıklanan SimHashing tekniğinin: https://moultano.wordpress.com/2010/01/21/simple-simhashing-3kbzhsxyg4467-6/ üç küme (verim olabilir {A}, {B,C,D}ve {E}örneğin,), sonuçları olsaydı: A -> h01 B -> h02 C -> h02 D -> h02 E -> h03 Benzer şekilde, MMDS kitabının 3. Bölümünde açıklanan MinHashing tekniği: http://infolab.stanford.edu/~ullman/mmds/ch3.pdf sonuçları şu olsaydı aynı üç …

12 clustering  similarity 

'Veri bilimi' ve 'veri bilimcisi' gibi terimler günümüzde giderek daha fazla kullanılmaktadır. Birçok şirket 'veri bilimcisi' işe alıyor. Ama bunun tamamen yeni bir iş olduğunu düşünmüyorum. Veriler geçmişten geldi ve birileri verilerle uğraşmak zorunda kaldı. Sanırım 'veri bilimcisi' terimi daha popüler hale geliyor çünkü daha süslü ve 'seksi' geliyor Veri …

12 bigdata 

ML algoritmaları, örneğin Vowpal Wabbit veya tıklama oranı yarışmaları ( Kaggle ) kazanan faktorizasyon makinelerinden bazıları olduğunda, özelliklerin 'karma' olduğunu belirtin, bu model için gerçekten ne anlama geliyor? İnternet eklentisinin kimliğini temsil eden ve '236BG231' gibi değerleri alan bir değişken olduğunu varsayalım. Sonra bu özelliğin rasgele bir tamsayıya hash olduğunu …

12 machine-learning  predictive-modeling  kaggle 

Havayollarının fiyat belirleme davranışını - özellikle havayollarının rakiplerin fiyatlandırmasına nasıl tepki verdiğini araştırmak istiyorum. Daha karmaşık analiz hakkındaki bilgimin oldukça sınırlı olduğunu söyleyeceğim gibi, verilerin genel bir görünümünü toplamak için çoğunlukla tüm temel yöntemleri yaptım. Bu, benzer desenleri tanımlamaya zaten yardımcı olan basit grafikler içerir. Ayrıca SAS Enterprise 9.4 kullanıyorum. …

12 data-mining  dataset  regression  correlation  visualization 

Deneme için biz kullanmak istiyorum Emoji birçok zemin gerçek olarak Tweets / basit nicel senitment analiz için veri eğitim gömülü. Tweetler genellikle NLP'nin iyi çalışması için çok yapılandırılmamıştır. Her neyse, Unicode 6.0'da 722 Emoji var ve muhtemelen Unicode 7.0'a 250 tane daha eklenecek. Onlar için duyarlılık ek açıklamaları içeren bir …

12 machine-learning  classification  parsing 

Yapılandırılmamış metin belgelerini, yani bilinmeyen yapıdaki web sitelerini sınıflandıracağım. Sınıflandırdığım sınıfların sayısı sınırlıdır (bu noktada üçten fazla olmadığına inanıyorum). Nasıl başlayabileceğim konusunda bir önerisi olan var mı? Burada "kelime torbası" yaklaşımı uygulanabilir mi? Daha sonra, belge yapısına (belki de karar ağaçları) dayalı başka bir sınıflandırma aşaması ekleyebilirim. Mahout ve Hadoop'a …

12 machine-learning  classification  text-mining  beginner