«dataset» etiketlenmiş sorular

Veri madenciliği alanında CS yüksek lisans öğrencisiyim. Yöneticim bir keresinde bana herhangi bir sınıflandırıcı çalıştırmadan veya veri kümesiyle herhangi bir şey yapmadan önce verileri tam olarak anlamam ve verilerin temiz ve doğru olduğundan emin olmam gerektiğini söyledi. Sorularım: Bir veri kümesini (sayısal ve nominal özniteliklere sahip yüksek boyutlu) anlamak için …

13 statistics  dataset 

Merhaba 1600 kategoriler üzerinde büyük kategorik değerlere sahip veri çerçevesi var Ben 1600 sütunları yok böylece alternatifleri bulabilirsiniz herhangi bir yolu yoktur. Bunu aşağıda ilginç bir bağlantı buldum http://amunategui.github.io/feature-hashing/#sourcecode Ama istemediğim sınıfa / nesneye dönüşüyorlar. Nihai çıktımı bir veri çerçevesi olarak istiyorum, böylece farklı makine öğrenme modelleri ile test yapabilir …

13 machine-learning  dataset  dimensionality-reduction  encoding 

Veri dengesizliği ile neden uğraşmamız gerektiğini bilmem gerekiyor. Bununla nasıl başa çıkacağımı ve yukarı örnekleme ya da aşağı örnekleme ya da Smote kullanarak sorunu çözmek için farklı yöntemler biliyorum. Örneğin, 100 hastalığın yüzde 1'inde nadir bir hastalığım varsa ve eğitim setim için dengeli bir veri seti oluşturmaya karar verdiğimi varsayalım: …

12 classification  dataset  sampling  class-imbalance 

Havayollarının fiyat belirleme davranışını - özellikle havayollarının rakiplerin fiyatlandırmasına nasıl tepki verdiğini araştırmak istiyorum. Daha karmaşık analiz hakkındaki bilgimin oldukça sınırlı olduğunu söyleyeceğim gibi, verilerin genel bir görünümünü toplamak için çoğunlukla tüm temel yöntemleri yaptım. Bu, benzer desenleri tanımlamaya zaten yardımcı olan basit grafikler içerir. Ayrıca SAS Enterprise 9.4 kullanıyorum. …

12 data-mining  dataset  regression  correlation  visualization 

Bir URL'den büyük bir veri kümesini Amazon S3'e aktarmanın mümkün olup olmadığını bilen var mı? Temel olarak, büyük bir dosyayı indirmekten ve ardından web portalı üzerinden S3'e yeniden yüklemekten kaçınmak istiyorum. Sadece indirme URL'sini S3'e vermek ve dosya sistemlerine indirmelerini beklemek istiyorum. Yapması kolay bir şey gibi görünüyor, ancak üzerindeki …

12 dataset  aws 

Kullanmam gereken minimum, maksimum ve "makul" miktarda LSTM hücresi ile ilgili herhangi bir temel kural (veya gerçek kurallar) var mı? Özellikle ben ilişkin am BasicLSTMCell TensorFlow ve gelen num_unitsmülk. Lütfen şu şekilde tanımlanan bir sınıflandırma sorunum olduğunu varsayalım: t - number of time steps n - length of input vector …

12 rnn  machine-learning  r  predictive-modeling  random-forest  python  language-model  sentiment-analysis  encoding  machine-learning  deep-learning  neural-network  dataset  caffe  classification  xgboost  multiclass-classification  unbalanced-classes  time-series  descriptive-statistics  python  r  clustering  machine-learning  python  deep-learning  tensorflow  machine-learning  python  predictive-modeling  probability  scikit-learn  svm  machine-learning  python  classification  gradient-descent  regression  research  python  neural-network  deep-learning  convnet  keras  python  tensorflow  machine-learning  deep-learning  tensorflow  python  r  bigdata  visualization  rstudio  pandas  pyspark  dataset  time-series  multilabel-classification  machine-learning  neural-network  ensemble-modeling  kaggle  machine-learning  linear-regression  cnn  convnet  machine-learning  tensorflow  association-rules  machine-learning  predictive-modeling  training  model-selection  neural-network  keras  deep-learning  deep-learning  convnet  image-classification  predictive-modeling  prediction  machine-learning  python  classification  predictive-modeling  scikit-learn  machine-learning  python  random-forest  sampling  training  recommender-system  books  python  neural-network  nlp  deep-learning  tensorflow  python  matlab  information-retrieval  search  search-engine  deep-learning  convnet  keras  machine-learning  python  cross-validation  sampling  machine-learning 

Ben bir uygulama prototip ve bazı oluşturulan cümleler üzerinde şaşkınlık hesaplamak için bir dil modeline ihtiyacım var. Python'da kolayca kullanabileceğim eğitimli bir dil modeli var mı? Gibi basit bir şey model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') assert p1 …

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

Bir süredir makine öğrenimi ve biyoinformatik üzerinde çalışıyorum ve bugün veri madenciliğinin ana genel sorunları hakkında bir meslektaşımla sohbet ettim. Meslektaşım (makine öğrenimi uzmanı), onun görüşüne göre, makine öğreniminin tartışmasız en önemli pratik yönünün, makine öğrenme modelinizi eğitmek için yeterli veri toplayıp toplamadığınızı nasıl anlayacağınız olduğunu söyledi . Bu ifade …

11 machine-learning  data-mining  dataset  data-cleaning  data 

Geçmiş stok verilerini sağlayan birçok kaynak vardır, ancak sadece OHLC alanlarını hacim ile birlikte sağlarlar ve yakın ayarlanmışlardır. Ayrıca bulduğum birkaç kaynak piyasa değeri veri setleri sağlıyor ancak ABD hisse senetleriyle sınırlı. Yahoo Finance, bu verileri çevrimiçi olarak sağlar, ancak indirme (veya farkında olmadığım) seçeneği yoktur. Bu adları, kısaltma adlarını …

11 dataset 

Veri kümesindeki olumlu ve olumsuz örneklerin sayısının dengesiz olduğu bir durumla karşı karşıyayım. Benim sorum, veri kümesinde bir tür dengelemeyi zorlamak için büyük kategoriyi ne zaman alt örneklememiz gerektiğini bize gösteren herhangi bir başparmak kuralı var. Örnekler: Olumlu örneklerin sayısı 1.000 ve negatif örneklerin sayısı 10.000 ise, sınıflandırıcımı tam veri …

10 classification  dataset  sampling  class-imbalance 

Makine öğrenimi sınıflandırma / regresyon görevleri için birkaç klasik veri kümesi vardır. En popüler olanları: İris Çiçek Veri Seti ; Titanik Veri Seti ; Motor Trend Otomobilleri ; vb. Ancak ağ analizi / grafik teorisi için benzer veri kümelerini bilen var mı? Daha somut - Karşılaştırma / değerlendirme / öğrenme …

10 dataset  graphs 

Zaman içinde canlı veri kaydetmek için bir komut dosyası yazıyorum, bu proje için tüm veri kümemi içeren tek bir HDF5 dosyasına. Python 3.6 ile çalışıyorum clickve veri toplamak için kullanarak bir komut satırı aracı oluşturmaya karar verdim . Benim endişem veri toplama komut dosyası HDF5 dosyasına yazıyor ve henüz ML …

9 python  dataset 

Ortak çalışmaya dayalı filtreleme için yeni bir algoritmayı test etmek istiyorum . Tipik bir kullanım durumu, belirli bir kullanıcıya benzer kullanıcıların tercihlerine göre film önerilmesidir. Araştırmacıların algoritmalarını test etmek için sıklıkla kullandıkları bazı karşılaştırmalı değerlendirme veri setleri nelerdir? Computer Vision'da insanların genellikle MNIST veya CIFAR kullandıklarını biliyorum, ancak işbirlikçi filtreleme …

9 dataset  recommender-system 

Veri Bilimi alanındaki son kurs projemiz için şunları önerdik: Amazon Reviews Veri Kümesi'ni verin, Amazon'a reklam yerleştirmek için stratejik bir konum belirleyen bir algoritma (kabaca Kişiselleştirilmiş PageRank tabanlı) bulmayı planlıyoruz. Örneğin, Amazon'da milyonlarca ürün var. Ve veri seti size hangi ürünlerin ilişkili olduğu, hangi ürünlerin bir araya getirildiği, bir araya …

9 machine-learning  data-mining  dataset  recommender-system 

Bir metin sınıflandırıcısını eğitmek için hangi serbestçe kullanılabilen veri kümelerini kullanabilirim? Onun için en alakalı içeriği önererek kullanıcılarımızın katılımını artırmaya çalışıyoruz, bu yüzden içeriğimizi önceden tanımlanmış bir kelime torbasına göre sınıflandırırsak, önceden sınıflandırılmış rastgele sayıda gönderi hakkında geri bildirim alarak içeriğine ilgi çekici bir şekilde geri dönmesini önerebiliriz. önce. Bu …

9 machine-learning  classification  dataset  clustering  text-mining