Veri Bilimi

Gördüğüm kadarıyla, bu konuda görüşler farklılaşıyor. En iyi uygulama, kesinlikle çapraz doğrulama kullanarak (özellikle de RF'leri aynı veri setindeki diğer algoritmalarla karşılaştırıyorsanız) kullanmaya zorlayacaktır. Öte yandan, orijinal kaynak OOB hatasının model eğitimi sırasında hesaplanmasının test set performansının bir göstergesi için yeterli olduğunu belirtmektedir. Trevor Hastie bile, nispeten yakın tarihli bir …

23 random-forest  cross-validation 

Onları veri bilimi ve analitiği için daha uygun hale getiren sütunlu veri depolarının avantajlarından bazıları nelerdir?

23 databases  tools 

Kümeden önce verilerinizi standart hale getirmek gerekli midir? Dan örnekte scikit learnDBSCAN hakkında, burada onlar doğrultusunda bunu: X = StandardScaler().fit_transform(X) Ama neden gerekli olduğunu anlamıyorum. Sonuçta, kümeleme herhangi bir veri dağılımını varsaymaz - denetimsiz bir öğrenme yöntemidir, bu nedenle amacı verileri araştırmaktır. Verileri dönüştürmek neden gerekli olsun?

23 python  clustering  clusters  anomaly-detection 

Bazı vektörleri 90 özellikli K-aracıyla kümelemeye çalışıyorum. Bu algoritma bana küme sayısını sorduğundan, seçimimi güzel bir matematikle doğrulamak istiyorum. 8-10 küme olmasını bekliyorum. Özellikler Z-skoruna göre ölçeklendirilir. Dirsek yöntemi ve varyans açıklandı from scipy.spatial.distance import cdist, pdist from sklearn.cluster import KMeans K = range(1,50) KM = [KMeans(n_clusters=k).fit(dt_trans) for k in …

23 clustering  k-means 

T-SNE, isomap, PCA, denetimli PCA, vb. Gibi yüksek boyutlu veri kümelerini görselleştirmek için birçok teknik var. Verileri 2B veya 3B alana yansıtma hareketlerini gerçekleştiriyoruz, bu yüzden "güzel resimlerimiz var" ". Bu yerleştirme (manifold öğrenme) yöntemlerinden bazıları burada açıklanmaktadır . Ama bu "güzel resim" aslında anlamlı mı? Birisi bu gömülü alanı …

23 machine-learning  dimensionality-reduction  visualization 

Bir df'nin bir sütununu diğer df'lerle karşılaştırmak istiyorum. Sütunlar adlar ve soyadlar. Bir veri çerçevesindeki bir kişinin bir diğerinde olup olmadığını kontrol etmek istiyorum.

23 pandas  dataframe 

Makine öğrenim modelinde ay ve saat gibi özellikleri faktör veya sayısal olarak kodlamak daha mı iyidir? Bir yandan, sayısal kodlamanın makul olabileceğini düşünüyorum, çünkü zaman ileriye doğru ilerleyen bir süreç (beşinci ayın ardından altıncı ay), ancak diğer yandan kategorik kodlamanın döngüsel yapı nedeniyle daha makul olabileceğini düşünüyorum yıllar ve günler …

23 machine-learning  feature-extraction  feature-engineering  encoding  numerical 

Şu anda XGBoost'u 21 özellikli bir veri setinde kullanıyorum (yaklaşık 150 özellik listesinden seçildi), sonra ~ 98 özellik elde etmek için bir sıcak kodlu. Bu 98 özellikten birkaçı biraz fazladır, örneğin: değişken (özellik) da B olarak görünürbirbirA veCBbirBbir\frac{B}{A} .CbirCbir\frac{C}{A} Sorularım: Nasıl ( varsa? ) Karar Ağaçları kolu çoklu doğrusal Boosted …

23 feature-selection  correlation  xgboost  gbm 

Şu anda Python ve Scikit ile sınıflandırma amacıyla öğrenmek için çalışıyorum ve GridSearch etrafında biraz okuma yapıyorum, bu en iyi sonuçları elde etmek için benim tahmin parametreleri optimize etmek için harika bir yol olduğunu düşündüm. Benim metodolojim şudur: Verilerimi eğitim / teste böl. Tahmincilerimi (Rastgele Orman, Gradient Boost, diğerleri arasında …

23 machine-learning  cross-validation 

Görünüşe göre, takviye öğrenmede, zamansal fark (TD) yöntemi bir önyükleme yöntemidir. Diğer yandan, Monte Carlo yöntemleri önyükleme yöntemi değildir. RL'de önyükleme tam olarak nedir? RL'de önyükleme yöntemi nedir?

23 reinforcement-learning 

Bu OTTO Kaggle mücadelesinin çözümü hakkında okuyordum ve ilk etapta çözüm giriş verileri X için birkaç dönüşüm kullanıyor gibi görünüyor, örneğin Log (X + 1), sqrt (X + 3/8), vb. Çeşitli sınıflandırıcılara hangi tür dönüşümlerin ne zaman uygulanacağı hakkında genel bir kılavuz? Ortalama-var ve min-max normalizasyon kavramlarını anlıyorum. Bununla birlikte, …

22 machine-learning  feature-extraction  feature-scaling 

İnsanların evrişimsel sinir ağlarının neden hala yeterince anlaşılmadığını söylediğini sık sık duydum. Konvolüsyonel sinir ağlarının neden katmanları yükseltirken gittikçe daha da karmaşıklaşan özellikler öğrenmeye başladığı biliniyor mu? Böyle bir özellik yığını yaratmalarına neden olan şey nedir ve bu, diğer derin sinir ağları türleri için de geçerli olabilir mi?

22 machine-learning  neural-network  deep-learning  convnet  cnn 

Veri bilim ekibini şu şekilde destekleyebilecek bir sunucu kurmak istiyorum: Jupyter not defterlerini saklamak, sürümlemek, paylaşmak ve mümkün olmak için merkezi bir nokta olmak. İstenilen bazı özellikler: Farklı kullanıcılar sunucuya erişebilir ve kendileri veya diğer ekip üyeleri tarafından depolanan defterleri açıp çalıştırabilir. Burada ilginç bir soru bir defter kullanıcı X …

22 software-recommendation 

Derin öğrenmenin temellerini anlatan bir makale arıyorum. Derin öğrenme için Andrew Ng kursu gibi ideal. Bunu nerede bulabileceğimi biliyor musun?

22 machine-learning  deep-learning 

Olabilirlik tahminini kullanarak kategorik değişkenleri nasıl kodlayabileceğimi anlamaya çalışıyorum, ancak şu ana kadar çok az başarılı oldum. Herhangi bir öneri çok takdir edilecektir.

22 feature-engineering