Veri Bilimi

Bu yazıyı bir dizi tıbbi görüntüye uygulamaya çalışıyorum . Bunu Keras'ta yapıyorum. Ağ temel olarak 4 döngü ve maksimum havuz katmanından sonra tamamen bağlı bir katman ve yumuşak maks sınıflandırıcıdan oluşur. Bildiğim kadarıyla gazetede bahsedilen mimariyi takip ettim. Bununla birlikte, validasyon kaybı ve doğruluğu tümüyle sabit kalır. Doğruluk ~% 57.5 …

12 machine-learning  python  deep-learning  keras 

Aşağıdakilere göre Keras'ta (Tensorflow arka ucu) özel bir metrik işlev (F1-Puanı) tanımlamaya çalıştım: def f1_score(tags, predicted): tags = set(tags) predicted = set(predicted) tp = len(tags & predicted) fp = len(predicted) - tp fn = len(tags) - tp if tp>0: precision=float(tp)/(tp+fp) recall=float(tp)/(tp+fn) return 2*((precision*recall)/(precision+recall)) else: return 0 Şimdiye kadar çok iyi, …

12 tensorflow  keras  evaluation 

Scikit-learn ile karar ağacında kullanmayı planladığım tonlarca kategorik sütun içeren panda veri çerçevem ​​var. Onları sayısal değerlere dönüştürmem gerekiyor (bir sıcak vektör değil). Scikit-learn'dan LabelEncoder ile yapabilirim. Sorun çok fazla olması ve bunları manuel olarak dönüştürmek istemiyorum. Bu süreci otomatikleştirmenin kolay bir yolu ne olurdu.

12 scikit-learn  pandas  categorical-data  labels 

Dengesiz verilerle bir sınıflandırma problemim var. Aşırı ve yetersiz örneklemenin yanı sıra yeterince temsil edilmeyen kategorik çıktıların maliyetini değiştirmenin daha iyi uyuma yol açacağını okudum. Bu yapılmadan önce tensorflow her girdiyi çoğunluk grubu olarak sınıflandırır (ve anlamsız olduğu gibi% 90'ın üzerinde doğruluk kazanır). Her grubun ters yüzdesinin günlüğünün, denediğim en …

12 tensorflow  loss-function 

Spektrogramlar kullanarak sesi (örneğin hayvanların sesleri) sınıflandırma olasılığını araştırıyordum. Fikir, spektrogramdaki segmentleri tanımak ve bir (veya birçok) sınıf etiketi çıkarmak için derin bir kıvrımlı sinir ağları kullanmaktır. Bu yeni bir fikir değil (bkz. Örneğin balina sesi sınıflandırması veya müzik tarzı tanıma ). Karşılaştığım sorun, farklı uzunluktaki ses dosyalarına ve dolayısıyla …

12 deep-learning  multilabel-classification  audio-recognition 

arka fon: içinde xgboost yineleme denemeden bir ağaç sığacak şekilde f t baştan n objektif aşağıdaki minimize örnekler:tttftftf_tnnn Σi = 1n[ gbenft( xben) + 12hbenf2t( xben) ]Σben=1n[gbenft(xben)+12hbenft2(xben)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] burada birinci derece ve önceki iyi tahmini üzerinde ikinci derece türevleridir y (yineleme gelen t - 1 ):gben, sbengben,hbeng_i, h_iy^y^\hat{y}t - …

12 xgboost  gbm 

Sütunlara veya veri türlerine bakılmaksızın veri dosyalarının alınmasını içeren bir proje üzerinde çalışan birini tanıyorum. Görev, herhangi bir sayıda sütun ve çeşitli veri türleriyle bir dosya almak ve sayısal veriler üzerinde özet istatistikler çıkarmaktır. Ancak, belirli sayı tabanlı veriler için dinamik olarak veri türlerinin nasıl atanacağından emin değildir. Örneğin: CITY …

12 categorical-data  numerical 

Ben var scikit-öğrenme ile rastgele ormanlarda özellik sahasını ABD'ye çizilen . Rastgele ormanları kullanarak tahmini iyileştirmek için, arsa bilgilerini özellikleri kaldırmak için nasıl kullanabilirim? Peki arsa bilgilerine dayanarak, bir özelliğin rasgele orman performansında işe yaramaz mı yoksa daha da kötü bir düşüş olup olmadığını nasıl anlayabilirim? Çizim özniteliğe dayanıyor feature_importances_ve …

12 feature-selection  random-forest  scikit-learn 

Bir URL'den büyük bir veri kümesini Amazon S3'e aktarmanın mümkün olup olmadığını bilen var mı? Temel olarak, büyük bir dosyayı indirmekten ve ardından web portalı üzerinden S3'e yeniden yüklemekten kaçınmak istiyorum. Sadece indirme URL'sini S3'e vermek ve dosya sistemlerine indirmelerini beklemek istiyorum. Yapması kolay bir şey gibi görünüyor, ancak üzerindeki …

12 dataset  aws 

Python kullanarak bir süredir NLTK'da çalışıyorum. Karşılaştığım sorun onların özel veriler ile NLTK NER eğitim mevcut hiçbir yardım olmasıdır. MaxEnt kullandılar ve ACE corpus üzerinde eğitim aldılar. İnternette çok araştırma yaptım ama NLTK'nın NER'sini eğitmek için kullanılabilecek bir yol bulamadım. Herkes bana NLTK NER eğitiminde kullanılan Eğitim Veri Kümeleri Biçimi …

12 machine-learning  python  nlp 

Bir yıl boyunca düzensiz aralıklarla örneklenmiş sürekli bir değişkenim var. Bazı günler saatte birden fazla gözlem yaparken, diğer dönemlerde günlerce hiçbir şey yoktur. Bu, zaman serilerindeki kalıpları tespit etmeyi özellikle zorlaştırır, çünkü bazı aylar (örneğin Ekim) yüksek oranda örneklenirken diğerleri değildir. Benim sorum şu zaman serisini modellemek için en iyi …

12 neural-network  time-series  regression 

Yeni düğümler / kenarlar eklendiğinde sosyal ağın nasıl değiştiğini görselleştirmek için bir kütüphane / araç arıyorum. Mevcut çözümlerden biri SoNIA: Social Network Image Animator . Bu gibi filmler yapmak yapalım bu bir . SoNIA'nın belgeleri şu anda bozuk olduğunu söylüyor ve bunun yerine JavaScript tabanlı çözümü tercih ederim. Yani, sorum …

12 social-network-analysis  time-series  javascript  visualization 

Çevrimiçi bir oyunda kullanıcıların puanlarını temsil eden tuples içeren bir akış düşünün (user, new_score). Akışın saniyede 100-1.000 yeni öğesi olabilir. Oyun 200K - 300K eşsiz oyunculara sahiptir. Ben gibi bazı ayakta sorguları istiyorum: Hangi oyuncular bir saatlik sürgülü pencerede x'ten fazla skor yayınladı Hangi oyuncular bir saatlik sürgülü pencerede% x …

12 tools  data-stream-mining 

Örneğin, Google'da bir şey ararken sonuçlar hemen anında geri döner. Google'ın sayfaları algoritmalar vb. İle sıraladığını ve dizine eklediğini anlıyorum, ancak dizine eklenebilecek olası tüm sorguların sonuçlarının (ve sonuçların kişiselleştirildiğini ve bunun daha da olanaksız kıldığını) hayal ediyorum? Ayrıca, Google'ın donanımındaki donanım gecikmesi çok fazla olmaz mı? Google'daki verilerin tümü …

12 bigdata  google  search 

Bilgisayar vizyonunda veya doğal dil işlemede derin öğrenme için şimdiye kadar birçok ilginç uygulama var. Diğer daha geleneksel alanlarda nasıl? Örneğin, geleneksel sosyo-demografik değişkenlere ve belki de çok fazla laboratuvar ölçümüne sahibim ve belirli bir hastalığı tahmin etmek istiyorum. Çok fazla gözlemim varsa, bu derin bir öğrenme uygulaması mı olurdu? …

12 deep-learning