İstatistikler ve Büyük Veri

A, B, C, D, E olmak üzere 5 özellikten oluşan bir veri setim var. Hepsi sayısal değerlerdir. Yoğunluk temelli bir kümeleme yapmak yerine, yapmak istediğim veriyi karar ağacı benzeri bir şekilde kümelemektir. Demek istediğim yaklaşım şöyle: Algoritma, özellik C'yi temel alarak verileri X başlangıç ​​kümelerine bölebilir, yani X kümeleri küçük …

20 r  machine-learning  clustering  cart 

L1 cezalandırılmış regresyon (diğer adıyla kement) iki formülasyonda sunulmaktadır. İki objektif fonksiyonun O zaman iki farklı formülasyon , ve eşdeğer olarak Karush-Kuhn-Tucker (KKT) koşullarını kullanarak, ilk formülasyon için durağanlık koşulunun, ikinci formülasyonun gradyanını alıp 0'a eşit olarak ayarlamakla eşdeğer olduğunu görmek kolaydır. Ne bulamıyorum, ne de anlayamıyorum , ilk formülasyon …

20 regression  lasso  penalized 

olaylarıyla sağ sansürlü gözlemleri düşünün . Duyarlı kişilerde sayısı zamanda i olan n ı ve etkinlik sayısı zamanda i edilir d i .t1,t2,…t1,t2,…t_1, t_2, \dotsiiininin_iiiididid_i Hayatta kalma işlevi bir adım işlevi olduğunda Kaplan-Meier veya ürün tahmincisi doğal olarak bir MLE olarak ortaya çıkar . Olasılığı daha sonra L ( α …

20 bayesian  survival  kaplan-meier 

Tüm medya bugünlerde derin öğrenme hakkında konuşup hype ile, bazı temel şeyler okudum. Verilerdeki kalıpları öğrenmenin sadece başka bir makine öğrenme yöntemi olduğunu buldum. Ama sorum şu: bu yöntem nerede ve neden parlıyor? Neden şu anda bu konudaki tüm konuşmalar? Yani yaygara ne hakkında?

20 machine-learning  data-mining  deep-learning  deep-belief-networks 

R kullanarak bir GLM için bir spline uydurmaya çalışıyorum. Spline'ı yerleştirdikten sonra, ortaya çıkan modelimi alıp bir Excel çalışma kitabında bir modelleme dosyası oluşturmak istiyorum. Örneğin, y'nin x'in rastgele bir işlevi olduğu ve eğimin belirli bir noktada aniden değiştiği bir veri kümem olduğunu varsayalım (bu durumda @ x = 500). …

20 splines 

Merhaba etkileşimleri dahil edebilen iki yönlü bir ANOVA (3x4 tasarım) parametrik olmayan eşdeğerini bulmaya çalışıyorum. Zar 1984 "Biyoistatistiksel analiz" deki okumamdan bu Scheirer, Ray ve Hare (1976) 'da ortaya konan bir yöntem kullanılarak mümkündür, ancak çevrimiçi diğer yayınlara göre bu yöntemin artık uygun olmadığı anlaşılmıştır (eğer hiç ) idi. Herkes …

20 r  anova  nonparametric  stata  interaction 

Bu tek değişkenli doğrusal regresyon modeli için veri kümesi D = { ( x 1 , y 1 ) , verilmiştir . . . , ( X , n , Y , n ) } , katsayı tahminleri olan β 1 = Σ i x i y i - N …

20 standard-error  inference 

Çok değişkenli bir doğrusal regresyon modelini, çoklu doğrusal regresyon olarak tamamen eşdeğer mi? Ben sadece çalışan kastetmiyorum ttt farklı gerilemenin. Bunu birkaç yerde okudum (Bayesian Veri Analizi - Gelman ve ark. Ve Çok Değişkenli Eski Okul - Marden), çok değişkenli doğrusal bir modelin kolayca çoklu regresyon olarak yeniden parametrelendirilebildiğini okudum …

20 regression  multiple-regression  linear-model  multivariate-regression 

Birisinin istatistiklerde zayıf tutarlılık yerine güçlü bir tutarlılığın gerekli olduğu bir uygulama olup olmadığını bilip bilmediğini merak ediyordum. Yani, uygulama için güçlü tutarlılık şarttır ve uygulama zayıf tutarlılıkla çalışmaz.

20 hypothesis-testing  theory  asymptotics  estimators  consistency 

Örneklerin iki sınıftan birine ait olma olasılıklarını ortaya çıkaran sınıflandırıcılar arıyorum. Lojistik regresyon ve saf Bayes'i biliyorum, ama bana benzer şekilde çalışan diğerlerinden bahseder misiniz? Yani, örneklerin ait olduğu sınıfları değil, örneklerin belirli bir sınıfa uyma olasılığını tahmin eden sınıflandırıcılar? Bu farklı sınıflandırıcıların (lojistik regresyon ve naif Bayes dahil) avantajları …

20 machine-learning  probability  logistic  classification  naive-bayes 

Bir popülasyondan veri noktası örneği aldım. Bu noktaların her biri gerçek bir değere (yer gerçeğinden bilinir) ve tahmini bir değere sahiptir. Daha sonra her örneklenen nokta için hatayı hesaplayıp numunenin RMSE'sini hesaplıyorum.nnn Daha sonra örnek boyutuna bağlı olarak bu RMSE etrafında bir çeşit güven aralığını nasıl çıkarabilirim ?nnn RMSE yerine …

20 confidence-interval 

R öğreniyorum ve varyans analizi ile denemeler yapıyorum. İkisini de çalıştırıyorum kruskal.test(depVar ~ indepVar, data=df) ve anova(lm(depVar ~ indepVar, data=dF)) Bu iki test arasında pratik bir fark var mı? Benim anlayışım, ikisinin de popülasyonların aynı anlama sahip olduğu sıfır hipotezini değerlendirdikleri.

20 r  anova  kruskal-wallis 

Bir sıra değişkeninin ortalamasını hesaplamanın uygun olmadığı birkaç yerde okudum. Neden uygunsuz olabileceğine dair bir sezgi almaya çalışıyorum. Bence bunun nedeni, genel olarak, bir sıra değişkeninin normal olarak dağılmamasıdır ve bu nedenle ortalamanın hesaplanması yanlış bir temsil verecektir. Bir sıralı değişkenin ortalamasının hesaplanmasının neden uygunsuz olabileceğine dair daha ayrıntılı bir …

20 mean  ordinal-data 

Yarı denetimli öğrenmede manifold varsayımının ne anlama geldiğini anlamaya çalışıyorum. Herkes basit bir şekilde açıklayabilir mi? Arkasındaki sezgiyi alamıyorum. Verilerinizin daha yüksek bir alana yerleştirilmiş düşük boyutlu bir manifoldda olduğunu söylüyor. Bunun ne anlama geldiğini anlamadım.

20 machine-learning  unsupervised-learning  supervised-learning  manifold-learning 

Ben 5 sınıf vardır ve her örnek bu sınıflardan biri veya daha fazla olabilir bir veri kümesi üzerinde farklı sınıflandırıcılar test ediyorum, bu yüzden özellikle scikit-learn çok etiketli sınıflandırıcılar kullanıyorum sklearn.multiclass.OneVsRestClassifier. Şimdi kullanarak çapraz doğrulama yapmak istiyorum sklearn.cross_validation.StratifiedKFold. Bu, aşağıdaki hatayı üretir: Traceback (most recent call last): File "mlfromcsv.py", line …

20 cross-validation  python  multi-class  scikit-learn  multilabel