«dataset» etiketlenmiş sorular

30
Halka Açık Veri Setleri
Veri bilimindeki yaygın sorunlardan biri, bir şekilde temizlenmiş (yarı yapılandırılmış) bir biçimde çeşitli kaynaklardan veri toplamak ve daha yüksek düzeyde bir analiz yapmak için çeşitli kaynaklardan gelen ölçümleri birleştirmek. Diğer insanların çabalarına, özellikle de bu sitedeki diğer sorulara baktığımızda, bu alandaki birçok insanın tekrarlayan işler yaptığını gösteriyor. Örneğin, tweet'leri, facebook ...

5
'Dengeli' bir veri seti mi yoksa 'temsilci' bir veri seti mi kullanmalıyım?
'Makine öğrenmesi' görevim, iyi huylu Internet trafiğini kötü amaçlı trafiğe ayırmak. Gerçek dünya senaryosunda, İnternet trafiğinin çoğu (% 90 veya daha fazla) iyi huyludur. Bu yüzden, modelleriimi de eğitmek için benzer bir veri kurulumu seçmem gerektiğini hissettim. Ancak, modelleri eğitmek için eşit miktarda iyi huylu ve kötü niyetli trafik durumlarını ...

1
Xgboost neden GradientBoostingClassifier'ı sklearn'den çok daha hızlı?
100 sayısal özellikli 50k örneklerin üzerinde bir degrade yükseltme modeli yetiştirmeye çalışıyorum. XGBClassifieriken benim makinede 43 saniye içinde kolları 500 ağaçları, GradientBoostingClassifierkolları sadece 10 ağaç (!) 1 dakika ve 2 saniye :( Ben rahatsız etmedi o saat sürer olarak 500 ağaç büyümeye çalışan. Aynı kullanıyorum learning_rateve max_depthayarları , aşağıya bakınız. ...
29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

4
Yüksek derecede dengesiz veri setlerinin eğitimi için hızlı rehber
Eğitim setinde yaklaşık 1000 pozitif ve 10000 negatif örnek ile bir sınıflandırma problemim var. Yani bu veri seti oldukça dengesiz. Düz rastgele ormanlar sadece tüm test örneklerini çoğunluk sınıfı olarak işaretlemeye çalışıyor. Alt örnekleme ve ağırlıklı rastgele ormanlarla ilgili bazı iyi cevaplar burada verilmiştir: Çok taraflı veri kümeleriyle bir Ağaç ...

7
Halka açık sosyal ağ veri kümeleri / API'leri
Herkese açık veri setleri listemizin bir uzantısı olarak , herkese açık sosyal ağ veri setleri / tarama API'leri listesinin olup olmadığını bilmek istiyorum. Veri kümesi / API'ye bir bağlantı ile birlikte, mevcut verilerin özellikleri eklenmişse çok iyi olurdu. Bu tür bilgiler bunlarla sınırlı olmamalıdır: sosyal ağın adı; ne tür kullanıcı ...

4
Son modeli eğitmek için tüm veri setini kullanmak her zaman daha iyi olur mu?
Eğitim, doğrulama ve tercih Makine Öğrenme modeli test ettikten sonra ortak bir teknik yetiştirmek, test alt kümesi dahil tam bir veri kümesi kullanmaktır nihai modeli için dağıtmak örneğin bir ürünün onu. Sorum şu: Bunu yapmak her zaman en iyisi midir? Ya performans gerçekten bozulursa? Örneğin, test alt setini sınıflandırırken modelin% ...

3
Veri Bilimi Proje Fikirleri [kapalı]
Kapalı . Bu soru görüşe dayalı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu güncelleyin, böylece bu yayını düzenleyerek gerçekleri ve alıntıları yanıtlayabileceksiniz . 5 yıl önce kapandı . Bu soruyu sormak için doğru bir yer olup olmadığını bilmiyorum, ama Veri Bilimine adanmış bir topluluk bence ...

3
Orijinal veri seti ile öğrenilen makine öğrenme modelini kullanarak sentetik veri seti nasıl oluşturulur?
Genellikle, makine öğrenme modeli veri kümeleri üzerine inşa edilmiştir. Orijinal veri seti özelliklerini koruyan bu tür eğitimli makine öğrenme modelini kullanarak sentetik veri kümesi oluşturmanın herhangi bir yolu olup olmadığını bilmek ister misiniz? [orijinal veri -> makine öğrenme modeli inşa -> sentetik veri üretmek için ml modelini kullanın .... !!!] ...

3
Resmi Olmayan Metin Üzerinde Adlandırılmış Varlık Tanıma için Veri Kümesi
Şu anda resmi olmayan metinden (tweet'lere benzer bir şey) adlandırılmış varlıkları çıkarmak için bir model eğitmek için etiketli veri kümeleri arıyorum. Büyük / küçük harf ve dilbilgisi veri kümemdeki belgelerde genellikle bulunmadığından, günümüzdeki varlık tanıma sistemleri adı verilen haber makalesi ve dergi kayıtlarından biraz daha "gayriresmi" alan dışı veri arıyorum. ...
18 dataset  nlp 


5
deniz dibi ısı haritasını büyüt
corr()Orijinal bir df dışında bir df oluşturun . corr()Df 70 X 70 çıktı ve ısı haritası görselleştirmek mümkün değildir ... sns.heatmap(df). Göstermeye çalışırsam corr = df.corr(), tablo ekrana sığmaz ve tüm korelasyonları görebilirim. Boyutundan dfbağımsız olarak tümünü yazdırmanın veya ısı haritasının boyutunu kontrol etmenin bir yolu var mı ?
17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

3
ImageNet'te bir kişi sınıfı var mı? İnsanlarla ilgili herhangi bir sınıf var mı?
İnternetteki Imagenet sınıfları için birçok kaynaktan birine bakarsam, insanlarla ilgili tek bir sınıf bulamıyorum (ve hayır, hasatçı hasat yapan biri değil, ama bir baba uzun bacakları, bir çeşit örümcek :-). Bu nasıl mümkün olabilir? Ben en azından bir tahmin az olurdu personhatta bir şey daha spesifik gibi sınıf ve man, ...

3
Dengesiz sınıfta, doğrulama / test veri kümelerimde örnekleme altında kullanmak zorunda mıyım?
Makine öğrenimine yeni başlıyorum ve bir durumla karşı karşıyayım. IPinYou veri kümesi ile bir Gerçek Zamanlı Teklif sorunu üzerinde çalışıyorum ve bir tıklama tahmini yapmaya çalışıyorum. Mesele şu ki, bildiğiniz gibi, veri kümesi çok dengesiz: 1 olumlu örnek (tıklama) için yaklaşık 1300 negatif örnek (tıklama yok). Bu benim işim: Verileri ...

2
Normal olarak dağıtılmayan A / B test sonuçlarının bağımsız t testi kullanılarak analiz edilmesi
Normal dağılım uymayan bir A / B testi (bir kontrol grubu, bir özellik grubu) sonuçları bir dizi var. Aslında dağıtım Landau Dağıtımına daha çok benzemektedir. Bağımsız t-testinin örneklerin en azından yaklaşık olarak normal olarak dağıtılmasını gerektirdiğine inanıyorum. Ama sorum şu: t-testinin anlamlılık testi için iyi bir yöntem olmadığını hangi noktada ...

6
En iyi uygulamaları anlayan veri kümeleri
Veri madenciliği alanında CS yüksek lisans öğrencisiyim. Yöneticim bir keresinde bana herhangi bir sınıflandırıcı çalıştırmadan veya veri kümesiyle herhangi bir şey yapmadan önce verileri tam olarak anlamam ve verilerin temiz ve doğru olduğundan emin olmam gerektiğini söyledi. Sorularım: Bir veri kümesini (sayısal ve nominal özniteliklere sahip yüksek boyutlu) anlamak için ...
Licensed under cc by-sa 3.0 with attribution required.