İstatistikler ve Büyük Veri

Son yıllarda, evrişimli sinir ağları (ya da genel olarak derin sinir ağları) , 4 uzayda 7 katmandan ( AlexNet ) 1000 katmana ( Artık Ağlar) kadar uzanan son teknoloji ağlarla daha da derinleşmiştir . yıl. Daha derin bir ağdan gelen performanstaki artışın arkasındaki neden, daha karmaşık, doğrusal olmayan bir fonksiyonun …

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

Bu soruya yapılan bir yorumdan ilham alındı : Önceden "bilgi vermeyen" olarak ne düşünüyoruz - ve sözde bir bilgi vermeden önceki hangi bilgileri hala içeriyor? Genelde, önce Bayesian analizinden bazı güzel kısımları ödünç almaya çalışan ya da sıkça yapılan bir analizin önceliğini görüyorum (bu, yapılacak en sıcak şeyi '' yapmak …

73 bayesian  prior 

Çok sınıflı çok etiketli sınıflandırma, örneğin ikiden fazla etiketin olduğu ve her örneğin birden fazla etiketin bulunduğu sınıflandırma için hassasiyetin nasıl hesaplanacağını ve hatırlama önlemlerinin nasıl olacağını merak ediyorum.

72 machine-learning  classification  precision-recall  multi-class 

Arkaplan : Bayesian istatistiklerinde resmi bir eğitimim yok (daha fazla öğrenmeyi çok isterim), fakat yeterince bilgim var - bence - neden çoğu kişinin Frequentist istatistiklere tercih edildiğini düşündüğünün anlamını elde etmek için. Giriş istatistiğindeki lisans öğrencileri bile (sosyal bilimlerde) sınıf öğretiyorum Bayesian yaklaşımını çekici buluyorum - “Neden boş verilmişse verinin …

72 bayesian  frequentist  philosophical 

Sosyal bilimlerde bir araştırma önerisi kapsamında bana şu soru soruldu: Çoklu regresyon için minimum örneklem büyüklüğü belirlenirken her zaman 100 + m (burada m, tahmincilerin sayısıdır) olmuştur. Bu uygun mu? Sık sık farklı kurallarla, benzer soruları çok alıyorum. Ayrıca, çeşitli ders kitaplarında bu tür kurallar okudum. Bazen bir kuralın atıflar …

72 regression  sample-size  power-analysis  rule-of-thumb 

Bir yerlerde, çok boyutlu ve seyrek verilere sahip olduğumuzda klasik mesafelerin (Öklid mesafesi gibi) zayıf şekilde ayırt edici hale geldiğini gördüm. Neden? Öklid mesafesinin iyi performans göstermediği iki seyrek veri vektöründen bir örneğiniz var mı? Bu durumda hangi benzerliği kullanmalıyız?

72 machine-learning  clustering  data-mining  sparse  euclidean 

Doğrusal regresyon için olağan varsayımlar nelerdir? Bunlar şunları içeriyor mu: bağımsız ve bağımlı değişken arasındaki doğrusal ilişki bağımsız hatalar hataların normal dağılımı homoscedasticity Başka var mı?

72 regression  assumptions 

Poisson dağılımının bekleme süreleri lambda parametresi ile üssel bir dağılımdır. Ama anlamıyorum. Poisson, örneğin zaman birimi başına düşen varış sayısını modellemektedir. Bunun üstel dağılımla ilgisi nedir? Diyelim ki k varış zamanının bir birim içindeki olasılığı P (k) (poisson tarafından modellenmiştir) ve k + 1'in olasılığı P (k + 1), üstel …

72 distributions  poisson-distribution  exponential 

Shannon'un entropisi , her sonucun olasılıklarının toplamının, her sonuç için olasılıkların logaritması ile çarpımının negatifidir. Logaritma bu denklemde hangi amaca hizmet eder? Sezgisel veya görsel bir cevap (derinden matematiksel bir cevabın aksine) bonus puan verilecektir!

72 entropy  intuition  sequence-analysis 

Ridge regresyon katsayısı tahmin β R minimize değerlerdirβ^R,β^R,\hat{\beta}^R RSS + λ ∑j = 1pβ2j.RSS+λΣj=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Benim sorularım: Eğer λ = 0λ=0\lambda = 0 , o zaman ifade yukarıda zamanki RSS azalttığını görüyoruz. Ya λ → ∞λ→∞\lambda \to \infty ? Ders kitabındaki katsayıların davranışlarının açıklanmasını anlamıyorum. Belirli bir …

71 ridge-regression  statistical-learning  history 

Veri madenciliği ve makine öğrenmesi o kadar popüler hale gelmiş gibi görünüyor ki, artık hemen hemen her CS öğrencisi sınıflandırıcılar, kümeleme, istatistiksel NLP… vb. Sorum şu: Bir veri madencisinin onu diğerlerinden farklı kılacak beceriler nelerdir? Onu o kadar kolay olmayan, onun gibi biri gibi biri yapması için.

71 machine-learning  data-mining 

Andrew Ng'nin makine öğrenim kursunda , doğrusal regresyon ve lojistik regresyon tanıtıyor ve gradyan iniş ve Newton yöntemini kullanarak model parametrelerine nasıl uyulacağını gösteriyor. Degrade inişinin bazı makine öğrenmesi uygulamalarında (örneğin backpropogation) faydalı olabileceğini biliyorum, ancak daha genel bir durumda, parametreleri kapalı formda çözememeniz için herhangi bir neden var - …

71 regression  machine-learning  logistic  gradient-descent 

Yinelenen satırları bu örnek veri çerçevesinden nasıl kaldırabilirim? A 1 A 1 A 2 B 4 B 1 B 1 C 2 C 2 Her iki sütuna göre kopyaları kaldırmak istiyorum: A 1 A 2 B 4 B 1 C 2 Sipariş önemli değil.

71 r 

Soru: R kullanarak çevrimiçi olarak serbestçe ulaşılabilen iyi bir çoğaltılabilir araştırma örneği var mı? İdeal Örnek: Özellikle, ideal örnekler şunları sağlar: Ham veriler (ve ideal olarak verileri açıklayan meta veriler), Veri alma, işleme, analiz ve çıktı oluşturma dahil tüm R kodlarını, Nihai çıktıyı nihai belgeye bağlamak için yemin ederim ya …

71 r  references  reproducible-research 

Temel bileşen puanları nedir (PC puanları, PCA puanları)?

71 pca  definition