İstatistikler ve Büyük Veri

Geoff Cumming'in 2008 makalesinde Replikasyon ve Aralıkları'nıpppppp okuyordum : p değerleri geleceği yalnızca belirsiz bir şekilde öngörüyor, ancak güven aralıkları çok daha iyi sonuç veriyor [Google Akademik'te 200 alıntı] - ve merkezi iddialarından biriyle kafam karıştı. Bu Cumming karşı savunuyor gazetelerin dizi biridir -değerlerinin ve güven aralıkları lehine; Ancak benim …

52 hypothesis-testing  p-value  power  replicability 

Tukey'nin "Keşif Veri Analizi" kitabını okudum. 1977 yılında yazılan kitap, kâğıt / kurşun kalem yöntemlerini vurguluyor. Şimdi büyük veri kümelerini anında çizebileceğimizi dikkate alan daha 'modern' bir halefi var mı?

52 data-visualization  references  descriptive-statistics  eda 

Okuduğum makalelerin çoğu yazarları, SVM'lerin NN'lerle benzer sonuçlar elde edemediklerini bilerek, regresyon / sınıflandırma problemleriyle yüzleşmek için üstün bir teknik olduğunu kabul ediyorlar. Genellikle karşılaştırmalar NN'ler yerine SVM'ler, Güçlü bir kurucu teori var İkinci dereceden programlama sayesinde global olarak optimum seviyeye ulaşın Uygun sayıda parametre seçmekte sorun yok Fazla giydirmeye …

52 machine-learning  svm  neural-networks 

Bir randomForestmodel çalıştırırsam , o zaman modele dayalı tahminler yapabilirim. Modelin cevabının ne kadar “kesin” olduğunu bildiğim için tahminlerin her birinin tahmin aralığını elde etmenin bir yolu var mı? Bu mümkünse, tüm model için bağımlı değişkenin değişkenliğine dayanıyor mu, yoksa belirli bir tahmin için takip edilen belirli karar ağacına bağlı …

52 r  confidence-interval  random-forest 

Kement sorunu için öyle \ | \ beta \ | _1 \ leq t . Yumuşak eşikleme sonucunu sık sık görüyorum \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _ j) (| \ beta_j ^ {\ text {LS}} | - \ gamma) …

52 lasso 

ANOVA Wikipedia sayfasında üç varsayımları listeler yani: Durumların bağımsızlığı - bu, istatistiksel analizi basitleştiren modelin bir varsayımıdır. Normallik - artıkların dağılımları normaldir. Eşcinsellik (veya "homojenlik"), eşcinsellik denir ... Burada ilgilenilen nokta ikinci varsayımdır. Birkaç kaynak, varsayımı farklı şekilde listeler. Bazıları ham verilerin normalliğini, bazılarının artıklarının olduğunu söylüyor Birkaç soru açılır: …

52 anova  residuals  assumptions  normality-assumption 

Diyelim ki dört, birbirini dışlayan özelliklere sahip üç popülasyonum var. Her popülasyondan rastgele örnekler alıyorum ve ölçtüğüm özellikler için bir çapraz tablo veya frekans tablosu yapıyorum. Bunu söylerken doğru mu: Eğer popülasyonlar ve özellikler arasında bir ilişki olup olmadığını test etmek istersem (örneğin, bir popülasyonun özelliklerden birinin frekansının daha yüksek …

52 chi-squared  proportion  contingency-tables  z-test 

Görünüşe göre birçok insan (ben dahil) Excel'de keşifsel veri analizi yapmak istiyor. Bir e-tabloda izin verilen satır sayısı gibi bazı sınırlamalar acı vericidir, ancak çoğu durumda verileri Excel ile oynamayı imkansız kılmaz. Bununla birlikte, McCullough ve Heiser tarafından yazılmış bir makale , pratik olarak, sonuçlarınızın yanlış olduğunu - ve muhtemelen …

52 software  computational-statistics  excel 

üzerindeki standartlaştırılmış bir Gauss dağılımı açıkça yoğunluğunu vererek tanımlanabilir: RR\mathbb{R}12π−−√e−x2/212πe−x2/2 \frac{1}{\sqrt{2\pi}}e^{-x^2/2} veya karakteristik işlevi. Bu soruda hatırlandığı üzere , örneklemin ortalama ve varyansının bağımsız olduğu tek dağılım budur. Bildiğiniz Gaussian önlemlerin diğer şaşırtıcı alternatif karakteristikleri nelerdir? En şaşırtıcı cevabı kabul edeceğim

52 probability  normal-distribution  mathematical-statistics  characteristic-function 

Her bir Mdüğüm çifti arasındaki mesafeyi temsil eden bir (simetrik) matrisim var. Örneğin, abcçdefgğhıi A 0 20 20 20 40 60 60 60 100 120 120 120 B 20 0 20 20 60 80 80 80 120 140 140 140 C 20 20 0 20 60 80 80 80 120 …

52 clustering 

artificial neural network (ANN)Tahminlerde hatayı azaltarak armatürü iyileştirmek için backpropogation kullanarak denetimli bir şekilde nasıl eğitilebileceğini anlıyorum . Bir YSA'nın denetimsiz öğrenme için kullanılabileceğini duydum, ancak optimizasyon aşamalarını yönlendirmek için bir çeşit maliyet fonksiyonu olmadan nasıl yapılabilir? K-means veya EM algoritması ile her yinelemenin artması için bir fonksiyon vardır. Bir …

52 clustering  neural-networks  unsupervised-learning  self-organizing-maps 

(Özellikler, ikili çıkış 0 veya 1) şeklinde bir veri setine sahibim, ancak 1 nadiren oluyor, bu yüzden sadece her zaman 0 öngörerek% 70 ile% 90 arasında doğruluk elde ederim (baktığım verilere göre ). ML yöntemleri bana aynı doğruluğu veriyor ve bu durumda uygulanacak, açık tahmin kuralına göre doğruluğu artıracak bazı …

52 machine-learning  classification  binary-data  unbalanced-classes 

Regresyon modelleri yapıyorum. Ön işleme adımı olarak, özellik değerlerimi ortalama 0 ve standart sapma 1 olacak şekilde ölçeklendiriyorum. Hedef değerleri normalleştirmek de gerekli mi?

52 regression  machine-learning 

Sosyal bilimlerdeki birçok çalışmada Likert ölçekleri kullanılmıştır. Likert verilerini sıralı olarak kullanmak ne zaman ve ne zaman aralıklı veriler olarak kullanmak uygun olur?

52 ordinal-data  likert  scales  measurement 

Lojistik regresyon , SVM , karar ağaçları , torbalama ve benzeri pek çok başka soru kullanırken dengesiz veriler hakkında çoktan sorularımız vardı , bu da onu çok popüler bir konu haline getirdi! Maalesef, soruların her biri algoritmaya özgü görünüyor ve dengesiz verilerle ilgilenmek için genel bir kılavuz bulamadım. Dengesiz verilerle …

52 machine-learning  classification  predictive-models  unbalanced-classes