İstatistikler ve Büyük Veri

Çok sayıda ilişkili özelliğe sahip verilerim var ve bir LDA'yı çalıştırmadan önce özellikleri düzgün bir temel işleviyle azaltarak başlamak istiyorum. splinesPaketinde doğal kübik spline nsişlevini kullanmaya çalışıyorum . Düğümleri nasıl atabilirim? İşte temel R kodu: library(splines) lda.pred <- lda(y ~ ns(x, knots=5)) Ama budakların nasıl seçileceği hakkında hiçbir fikrim yok …

23 r  splines 

(İstatistiklere yeni girmiş biriyim. Matematikçi ve programcıyım ve saf bir Bayesian spam filtresi gibi bir şey oluşturmaya çalışıyorum.) Birçok yerde insanların, payesleri Bayes Teoremi'nden ayırma eğiliminde olduklarını fark ettim. Yani bunun yerine: P(A|B)⋅P(B)P(A)P(A|B)⋅P(B)P(A)\frac{P(A|B)\cdot P(B)}{P(A)} Bununla bizlere sunulmuştur: P(A|B)⋅P(B)P(A|B)⋅P(B)+P(A|¬B)⋅P(¬B)P(A|B)⋅P(B)P(A|B)⋅P(B)+P(A|¬B)⋅P(¬B)\frac{P(A|B)\cdot P(B)}{P(A|B)\cdot P(B)+P(A|\neg B)\cdot P(\neg B)} Bu konvansiyonun bu Wikipedia makalesinde ve Tim …

23 bayesian 

Yükseltmeyi anlamanın en kolay yolu nedir? Neden çok zayıf sınıflandırıcıları "sonsuzluğa" (mükemmellik) desteklemiyor?

23 machine-learning  boosting 

Sadece yüzde yüzdelik bir şey biliyorsam, bir dağılımı anlamak için hangi yöntemleri kullanabilirim? Örneğin, belirli bir veri setinde, beşinci yüzde 8.135, 50 yüzde yüzde 11.259 olduğunu ve 95. yüzde 23.611 olduğunu biliyorum. Başka herhangi bir sayıdan yüzdelik değerine gidebilmek istiyorum. Bu benim verilerim değil ve bunlar benim sahip olduğum istatistiklerin …

23 r  regression  quantiles 

CDF (kümülatif dağılım fonksiyonu) verilen bir dağılımın PDF'sini (olasılık yoğunluk fonksiyonu) nasıl bulabilirim?

23 distributions  pdf  cdf 

WLS regresyon sürecinde biraz kayboldum. Bana veri seti verildi ve görevim heteroseksüellik olup olmadığını sınamak ve eğer öyleyse WLS regresyonunu çalıştırmalıyım. Testi yaptım ve heteroseksüellik konusunda kanıtlar buldum, bu yüzden WLS'yi çalıştırmam gerekiyor. WLS'nin temelde dönüştürülmüş bir modelin OLS regresyonu olduğu söylendi, ancak dönüşüm işlevini bulma konusunda biraz kafam karıştı. …

23 regression  heteroscedasticity  weighted-regression 

Student t dağılımının parametreleri için maksimum olabilirlik tahmin ediciler nelerdir? Kapalı formda varlar mı? Hızlı bir Google araması bana sonuç vermedi. Bugün tek değişkenli durumla ilgileniyorum, ancak muhtemelen modeli çoklu boyutlara genişletmek zorunda kalacağım. EDIT: Aslında çoğunlukla yer ve ölçek parametreleriyle ilgileniyorum. Şimdilik serbestlik derecesi parametresinin sabit olduğunu varsayabilir ve …

23 estimation  maximum-likelihood  t-distribution 

Yüksek oranda korelasyonlu regresörleri olan çoklu bir doğrusal regresyonda, kullanılacak en iyi strateji nedir? İlişkili tüm regresörlerin ürününü eklemek meşru bir yaklaşım mıdır?

23 regression  multicollinearity 

Çapraz Doğrulama ile Doğrusal Model Seçimi adlı makalesinde , Jun Shao, çok değişkenli doğrusal regresyonda değişken seçimi problemi için, bir kez dışarıda bırakılma çapraz doğrulama yönteminin (LOOCV) 'asimptotik olarak tutarsız' olduğunu göstermektedir. Düz İngilizce olarak, çok değişkenli modelleri seçme eğilimindedir. Bir simülasyon çalışmasında, Shao, en az 40 gözlem için bile, …

23 classification  model-selection  cross-validation 

Çoğu zaman, (kendi-) istatistik çalışmam sırasında, " -algebra rasgele bir değişken tarafından üretilen " terminolojisiyle tanıştım . Wikipedia'daki tanımı anlamıyorum , ama en önemlisi sezginin arkasına geçemiyorum. Rasgele değişkenler tarafından neden / ne zaman ihtiyacımız var ? Anlamları ne? Aşağıdakileri biliyorum:σσ\sigmaσ-σ-\sigma- bir sette -algebra içeren alt kümelerinin boş olmayan bir …

23 probability  random-variable  sigma-algebra 

Derin, evrişimli sinir ağları ile görüntü tanıma, görüntü sınıflandırma vb. Konularında birçok ilerlemenin olduğunun farkındayım. Ama PNG görüntüleri üzerinde bir ağ eğitirsem, sadece bu şekilde kodlanmış görüntüler için çalışır mı? Başka hangi görüntü özellikleri bunu etkiler? (alfa kanalı, taramalı, çözünürlük vb.)

23 neural-networks  deep-learning  image-processing 

Birisi yeterli istatistikleri çok temel terimlerle açıklayabilir mi? Mühendislik geçmişinden geliyorum ve birçok şeyden geçtim ama sezgisel bir açıklama bulamadım.

23 machine-learning  mathematical-statistics  intuition 

Bu iki yaygın terim genellikle eşanlamlı olarak kullanılırken, bazen bir ayrım söz konusudur. Gerçekten bir fark var mı, yoksa tam olarak eş anlamlılar mı?

23 residuals  error  terminology 

Anladığım kadarıyla, makine öğreniminde, veri kümenizin aynı bilgileri etkili bir şekilde kodladıkları için yüksek derecede ilişkili özelliklere sahip olması bir sorun olabilir. Son zamanlarda birisi, kategorik bir değişken üzerinde tek-sıcak kodlama yaptığınızda, ilişkili özelliklerle sonuçlandığınızı, bu yüzden bunlardan birini "referans" olarak bırakmanız gerektiğini belirtti. Örneğin, cinsiyeti iki değişken olarak kodlamak …

23 regression  machine-learning  categorical-data  discrete-data  categorical-encoding 

Bir süredir Bayesci istatistiklerde eşlenik öncelikler fikrini anlamaya çalışıyorum ama anlayamıyorum. Bu fikri belki de en basit terimlerle açıklayabilir, belki de "Gauss öncesi" yi örnek olarak kullanabilir miyiz?

23 bayesian  conditional-probability  conjugate-prior