Veri Bilimi

GAN'lar - üretken çekişmeli ağlar - sadece görüntüler için iyi midir, yoksa metin için de kullanılabilir mi? Mesela, bir özetten anlamlı metinler oluşturmak için bir ağı eğitin. UPD - GAN mucidi Ian Goodfellow'dan alıntılar. GAN'lar NLP'ye uygulanmamıştır, çünkü GAN'lar yalnızca gerçek değerli veriler için tanımlanmıştır. ( 2016 ) kaynak Temelde …

14 gan 

Dengesiz veri kümemde rastgele bir orman modeli çalıştırmak için Python kullanıyorum (hedef değişken ikili bir sınıftı). Eğitim ve test veri kümesini böldüğümde, katmanlı örnekleme (gösterilen kod gibi) kullanıp kullanmama konusunda mücadele ettim. Şimdiye kadar, projemde tabakalı vakanın daha yüksek bir model performansına yol açacağını gözlemledim. Ancak, modelimi, hedef sınıfın mevcut …

14 machine-learning  python  random-forest  sampling  training 

Bir grup öğrenicinin mümkün olan en iyi model sonuçlarına yol açtığı aksiyomatik hale gelmiş gibi görünüyor ve örneğin, tek modellerin Kaggle gibi yarışmalar kazanması çok daha nadir hale geliyor. Toplulukların neden bu kadar lanet etkili olduğuna dair teorik bir açıklama var mı?

14 machine-learning  data-mining  predictive-modeling 

Biçimleri farklı olduğunda veya bunlardan biri yanlış yazıldığında posta adreslerinin nasıl eşleştirileceğini bilmek istiyorum. Şimdiye kadar farklı çözümler buldum, ancak oldukça eski ve çok verimli olmadıklarını düşünüyorum. Eminim bazı daha iyi yöntemler vardır, bu yüzden okumak için referanslarınız varsa, bunun birkaç kişiyi ilgilendirebilecek bir konu olduğuna eminim. Bulduğum çözüm (örnekler …

14 text-mining  data-cleaning 

Hinton'un makalesinden, T-SNE'nin yerel benzerlikleri korumak için iyi bir iş yaptığını ve küresel yapıyı (kümeleme) korumak için iyi bir iş yaptığını anlıyorum. Ancak bir 2D t-sne görselleştirmede daha yakın görünen noktaların "daha benzer" veri noktaları olarak kabul edilip edilemeyeceği net değil. 25 özellikli veri kullanıyorum. Örnek olarak, aşağıdaki görüntüyü gözlemleyerek, …

14 visualization  dimensionality-reduction  tsne  manifold 

Bir sınıflandırma problemi üzerinde çalışıyorum. Eşit sayıda kategorik değişken ve sürekli değişken içeren bir veri setim var. Hangi tekniği kullanacağımı nasıl bileceğim? karar ağacı ile lojistik regresyon arasındaki ilişki nedir? Lojistik regresyonun sürekli değişken için daha uygun olacağını ve karar ağacının sürekli + kategorik değişken için daha uygun olacağını varsaymak …

14 classification  logistic-regression  decision-trees 

10 boyutlu noktalarda k-demek kümeleme yapmak istiyorum. Yakalama: 10 ^ 10 puan var . Sadece en büyük kümelerin merkezini ve boyutunu arıyorum (diyelim ki 10 ila 100 küme); Her noktanın hangi kümede bittiği umurumda değil. K-araçlarını kullanmak önemli değil; Ben sadece benzer bir etki arıyorum, herhangi bir yaklaşık k-araçları veya …

14 clustering  k-means 

Bir web sitesinden ürün satın alan bir kullanıcı veri setim var. Sahip olduğum özellikler kullanıcı kimliği, kullanıcının bölge (eyalet), ürün kategorisi kimliği, ürünün anahtar kelime kimliği, web sitesinin anahtar kelime kimliği ve ürünün harcanan satış tutarıdır. Amaç, "erkek genç oyuncu" veya "evde anne kalmak" gibi kullanıcıların kimliğini belirlemek için bir …

14 machine-learning  data-mining  classification  clustering 

Ruby için nispeten eksiksiz (denetimli ve denetimsiz öğrenme için çok çeşitli algoritmalar dahil), sağlam bir şekilde test edilmiş ve iyi belgelenmiş makine öğrenimi kütüphaneleri var mı? İnanılmaz belgeleriyle Python'un scikit-öğrenmesini seviyorum , ancak bir müşteri kodu aşina oldukları için Ruby'de yazmayı tercih ediyor. İdeal olarak, seyrek matrisler ve öğrenciler gibi …

14 machine-learning 

Aşağıdaki özelliklere sahip bir veri kümem var: 2.821 pozitif 193.176 numune ile eğitim veri seti 673 pozitif 82.887 örnek ile Veri Kümesini test et 10 özelliği vardır. İkili bir sınıflandırma yapmak istiyorum (0 veya 1). Karşılaştığım sorun, verilerin çok dengesiz olması. Normalleştirme ve bazı özellik mühendisliği ile birlikte verileri ölçekledikten …

14 machine-learning  python  classification  logistic-regression 

Oldukça önyargılı bir ikili veri setim var - Negatif sınıfın pozitif sınıftan 1000 kat daha fazla örneği var. Bu veriler üzerinde bir Ağaç Topluluğu (Ekstra Rastgele Ağaçlar veya Rastgele Orman gibi) eğitmek istiyorum, ancak pozitif sınıfın yeterli örneklerini içeren eğitim veri kümeleri oluşturmak zor. Pozitif ve negatif örneklerin sayısını normalleştirmek …

14 machine-learning  feature-selection  unbalanced-classes 

Tüm "büyük veri" bileşenlerinin gerçek dünya kullanım durumunda nasıl oynandığını anlamaya çalışıyorum, örneğin hadoop, monogodb / nosql, fırtına, kafka, ... Bunun için kullanılan çok çeşitli araçlar olduğunu biliyorum farklı türlerde, ancak uygulamalardaki etkileşimleri hakkında daha fazla bilgi edinmek istiyorum, örneğin bir uygulama için düşünme makinesi öğrenmesi, webapp, çevrimiçi mağaza. Ziyaretçiler …

14 machine-learning  bigdata  efficiency  scalability  distributed 

Sinir ağları için elimizdeki evrensel yaklaşım teoremi sinir ağları bir kompakt alt kümesi üzerinde herhangi sürekli fonksiyonunu tahmin bildiren .R,nRnR^n Gradyan ile güçlendirilmiş ağaçlar için benzer bir sonuç var mı? Daha fazla şube eklemeye devam edebileceğiniz için makul görünüyor, ancak konuyla ilgili resmi bir tartışma bulamıyorum. EDIT: Sorum çok regresyon …

14 decision-trees 

Sis koşullarındaki (3 sınıf) görüntüleri sınıflandırmak için evrişimli bir sinir ağı eğitimi alıyorum. Bununla birlikte, yaklaşık 150.000 görüntünün her biri için, görüntülerin sınıflarını tahmin etmede yardımcı olabilecek dört meteorolojik değişkenim var. Meteorolojik değişkenleri (örneğin sıcaklık, rüzgar hızı) mevcut CNN yapısına nasıl ekleyebileceğimi merak ediyordum, böylece sınıflandırmada yardımcı olabilirdi. Zaten aklıma …

14 machine-learning  neural-network  deep-learning  tensorflow  cnn 

İnternetteki Imagenet sınıfları için birçok kaynaktan birine bakarsam, insanlarla ilgili tek bir sınıf bulamıyorum (ve hayır, hasatçı hasat yapan biri değil, ama bir baba uzun bacakları, bir çeşit örümcek :-). Bu nasıl mümkün olabilir? Ben en azından bir tahmin az olurdu personhatta bir şey daha spesifik gibi sınıf ve man, …

14 machine-learning  deep-learning  dataset  convnet  image-classification