«dataset» etiketlenmiş sorular

Veri bilimindeki yaygın sorunlardan biri, bir şekilde temizlenmiş (yarı yapılandırılmış) bir biçimde çeşitli kaynaklardan veri toplamak ve daha yüksek düzeyde bir analiz yapmak için çeşitli kaynaklardan gelen ölçümleri birleştirmek. Diğer insanların çabalarına, özellikle de bu sitedeki diğer sorulara baktığımızda, bu alandaki birçok insanın tekrarlayan işler yaptığını gösteriyor. Örneğin, tweet'leri, facebook …

167 open-source  dataset 

'Makine öğrenmesi' görevim, iyi huylu Internet trafiğini kötü amaçlı trafiğe ayırmak. Gerçek dünya senaryosunda, İnternet trafiğinin çoğu (% 90 veya daha fazla) iyi huyludur. Bu yüzden, modelleriimi de eğitmek için benzer bir veri kurulumu seçmem gerektiğini hissettim. Ancak, modelleri eğitmek için eşit miktarda iyi huylu ve kötü niyetli trafik durumlarını …

48 machine-learning  dataset  unbalanced-classes 

100 sayısal özellikli 50k örneklerin üzerinde bir degrade yükseltme modeli yetiştirmeye çalışıyorum. XGBClassifieriken benim makinede 43 saniye içinde kolları 500 ağaçları, GradientBoostingClassifierkolları sadece 10 ağaç (!) 1 dakika ve 2 saniye :( Ben rahatsız etmedi o saat sürer olarak 500 ağaç büyümeye çalışan. Aynı kullanıyorum learning_rateve max_depthayarları , aşağıya bakınız. …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

Eğitim setinde yaklaşık 1000 pozitif ve 10000 negatif örnek ile bir sınıflandırma problemim var. Yani bu veri seti oldukça dengesiz. Düz rastgele ormanlar sadece tüm test örneklerini çoğunluk sınıfı olarak işaretlemeye çalışıyor. Alt örnekleme ve ağırlıklı rastgele ormanlarla ilgili bazı iyi cevaplar burada verilmiştir: Çok taraflı veri kümeleriyle bir Ağaç …

29 machine-learning  classification  dataset  unbalanced-classes 

Herkese açık veri setleri listemizin bir uzantısı olarak , herkese açık sosyal ağ veri setleri / tarama API'leri listesinin olup olmadığını bilmek istiyorum. Veri kümesi / API'ye bir bağlantı ile birlikte, mevcut verilerin özellikleri eklenmişse çok iyi olurdu. Bu tür bilgiler bunlarla sınırlı olmamalıdır: sosyal ağın adı; ne tür kullanıcı …

26 open-source  dataset  crawling 

Eğitim, doğrulama ve tercih Makine Öğrenme modeli test ettikten sonra ortak bir teknik yetiştirmek, test alt kümesi dahil tam bir veri kümesi kullanmaktır nihai modeli için dağıtmak örneğin bir ürünün onu. Sorum şu: Bunu yapmak her zaman en iyisi midir? Ya performans gerçekten bozulursa? Örneğin, test alt setini sınıflandırırken modelin% …

24 machine-learning  dataset  training  accuracy 

Kapalı . Bu soru görüşe dayalı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu güncelleyin, böylece bu yayını düzenleyerek gerçekleri ve alıntıları yanıtlayabileceksiniz . 5 yıl önce kapandı . Bu soruyu sormak için doğru bir yer olup olmadığını bilmiyorum, ama Veri Bilimine adanmış bir topluluk bence …

23 machine-learning  bigdata  dataset 

Genellikle, makine öğrenme modeli veri kümeleri üzerine inşa edilmiştir. Orijinal veri seti özelliklerini koruyan bu tür eğitimli makine öğrenme modelini kullanarak sentetik veri kümesi oluşturmanın herhangi bir yolu olup olmadığını bilmek ister misiniz? [orijinal veri -> makine öğrenme modeli inşa -> sentetik veri üretmek için ml modelini kullanın .... !!!] …

19 machine-learning  dataset 

Şu anda resmi olmayan metinden (tweet'lere benzer bir şey) adlandırılmış varlıkları çıkarmak için bir model eğitmek için etiketli veri kümeleri arıyorum. Büyük / küçük harf ve dilbilgisi veri kümemdeki belgelerde genellikle bulunmadığından, günümüzdeki varlık tanıma sistemleri adı verilen haber makalesi ve dergi kayıtlarından biraz daha "gayriresmi" alan dışı veri arıyorum. …

18 dataset  nlp 

Bazı değişkenler sütunlar (Telstra ağ kesintisi) yerine satırlarla temsil edilen bir Kaggle meydan okuma üzerinde çalışıyorum. Şu anda R tidyr aracında bulunan gather (), separa () ve spread () 'nin eşdeğerini arıyorum.

18 r  python  dataset  data-cleaning  pandas 

corr()Orijinal bir df dışında bir df oluşturun . corr()Df 70 X 70 çıktı ve ısı haritası görselleştirmek mümkün değildir ... sns.heatmap(df). Göstermeye çalışırsam corr = df.corr(), tablo ekrana sığmaz ve tüm korelasyonları görebilirim. Boyutundan dfbağımsız olarak tümünü yazdırmanın veya ısı haritasının boyutunu kontrol etmenin bir yolu var mı ?

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Umarım bu soru bu sitedeki en uygun sorudur ... Python'da genellikle sınıf adı ilk harfi büyük harf kullanılarak tanımlanır, örneğin class Vehicle: ... Bununla birlikte, makine öğrenme alanında, çoğu kez tren ve test verisi olarak tanımlanan Xve Y- değil xve y. Örneğin, şimdi bu öğreticiyi Keras'ta okuyorum , ancak değişkenlerini …

15 python  dataset 

İnternetteki Imagenet sınıfları için birçok kaynaktan birine bakarsam, insanlarla ilgili tek bir sınıf bulamıyorum (ve hayır, hasatçı hasat yapan biri değil, ama bir baba uzun bacakları, bir çeşit örümcek :-). Bu nasıl mümkün olabilir? Ben en azından bir tahmin az olurdu personhatta bir şey daha spesifik gibi sınıf ve man, …

14 machine-learning  deep-learning  dataset  convnet  image-classification 

Makine öğrenimine yeni başlıyorum ve bir durumla karşı karşıyayım. IPinYou veri kümesi ile bir Gerçek Zamanlı Teklif sorunu üzerinde çalışıyorum ve bir tıklama tahmini yapmaya çalışıyorum. Mesele şu ki, bildiğiniz gibi, veri kümesi çok dengesiz: 1 olumlu örnek (tıklama) için yaklaşık 1300 negatif örnek (tıklama yok). Bu benim işim: Verileri …

14 machine-learning  dataset  sampling 

Normal dağılım uymayan bir A / B testi (bir kontrol grubu, bir özellik grubu) sonuçları bir dizi var. Aslında dağıtım Landau Dağıtımına daha çok benzemektedir. Bağımsız t-testinin örneklerin en azından yaklaşık olarak normal olarak dağıtılmasını gerektirdiğine inanıyorum. Ama sorum şu: t-testinin anlamlılık testi için iyi bir yöntem olmadığını hangi noktada …

14 dataset  statistics  ab-test