İstatistikler ve Büyük Veri

Not: L1'in özellik seçimi özelliğine sahip olduğunu biliyorum. Özellik seçimi tamamen alakasız olduğunda hangisini seçeceğimi anlamaya çalışıyorum. Hangi düzenlileştirmenin (L1 veya L2) kullanılacağına nasıl karar verilir? L1 / L2 düzenlemelerinin her birinin artıları ve eksileri nelerdir? L1 ile özellik seçimi yapıp, bu seçilen değişkenlere L2 uygulayarak yapılması önerilir mi?

30 regression  lasso  regularization  ridge-regression 

P-değerleri üzerine bir dizi blog yazısı yazmaya çalışıyorum ve her şeyin başladığı yere geri dönmenin ilginç olacağını düşündüm - ki bu Pearson'un 1900 makalesi gibi görünüyor. Bu makaleye aşina iseniz, bunun uygunluk testini kapsadığını hatırlarsınız. Pearson, p-değerleri söz konusu olduğunda dili ile biraz gevşek. P değerini nasıl yorumlayacağını tarif ederken …

30 p-value  history  ronald-fisher 

Ömür Boyu Verilere İlişkin İstatistiksel Modeller ve Yöntemler kitabında ; Sansür Verme: Rasgele bir nedenden ötürü bir gözlem eksik olduğunda. Kısaltma: Gözlemin eksik doğası, çalışma tasarımına özgü sistematik bir seçim sürecinden kaynaklandığı zaman. Kısaltma tanımında “çalışma tasarımına özgü sistematik seçim süreci” ile ne kastedilmektedir? Sansür ve kesilme arasındaki fark nedir?

30 self-study  censoring  truncation 

Log-normal gibi çok eğimli dağılımlar, doğru önyükleme güven aralıklarıyla sonuçlanmaz. Aşağıda sol ve sağ kuyruk bölgelerinin R'de hangi önyükleme yöntemini kullandığınızdan bağımsız olarak ideal 0.025'ten uzak olduğunu gösteren bir örnek verilmiştir: require(boot) n <- 25 B <- 1000 nsim <- 1000 set.seed(1) which <- c('basic', 'perc', 'norm', 'bca', 'stud') mul …

30 confidence-interval  nonparametric  mean  bootstrap  median 

Denetimli öğrenme 1) İnsan, girdi ve çıktı verilerine dayalı bir sınıflandırıcı oluşturur. 2) Bu sınıflandırıcı bir veri eğitim seti ile eğitilmiştir. 3) Bu sınıflandırıcı bir veri test seti ile test edilmiştir. 4) Çıktı tatmin edici ise dağıtım "Bu verileri nasıl sınıflandıracağımı biliyorum, sıralamanız için yalnızca size (sınıflandırıcı) ihtiyacım var." Yöntem …

30 machine-learning  unsupervised-learning  supervised-learning  reinforcement-learning 

Olasılık yoğunluğunun ortalamadan bir noktadan sonra hızla azaldığı veya kendi sözlerime göre "plato şeklindeki bir dağılım" olan bir dağıtım arıyorum. Gauss ile üniforma arasında bir şey var.

30 distributions  normal-distribution  uniform 

B'nin gerçekleşmesi koşuluyla , koşullu olasılık formülü : P ( AAA\text{A}BB\text{B}P(A | B)=P(A∩B)P(B).P(A | B)=P(A∩B)P(B). P\left(\text{A}~\middle|~\text{B}\right)=\frac{P\left(\text{A} \cap \text{B}\right)}{P\left(\text{B}\right)}. Ders kitabım bunun arkasındaki sezgiyi Venn şeması açısından açıklıyor. BB\text{B} gerçekleştiği göz önüne alındığında, AA\text{A} gerçekleşmesinin tek yolu , olayın AA\text{A} ve kesişimine düşmesidir BB\text{B}. Bu durumda, P ( A) olasılığı olmazP(A|B)P(A|B)P\left(\text{A} …

30 probability  conditional-probability  intuition 

Makine öğrenmesi bağlamında "çıkarım" ve "tahmin" arasındaki farklar nelerdir ? Bir acemi olarak, biz hissediyorum sonucuna rastgele değişkenler ve tahmin modeli parametreleri. Benim bu anlayış doğru mu? Eğer değilse, tam olarak farklar nelerdir ve hangisini kullanmalıyım? Ayrıca, hangisi “öğren” in eş anlamlısıdır?

30 machine-learning  inference  terminology 

Gizli sınıf analizinden (LCA) kümelenme analizine karşı çıkarılan çıkarımlardaki farklar nelerdir? Bir LCA'nın sınıflara yol açan temel bir gizli değişken varsaydığı doğru mu, oysa küme analizi kümelenme algoritmasından elde edilen ilişkili özelliklerin ampirik bir açıklaması mı? Sosyal bilimlerde, LCA'nın popülerlik kazandığı ve küme analizinin yapmadığı resmi bir ki-kare anlamlılık testi …

30 clustering  latent-variable  latent-class 

Bu sorunun ortalama = ortanca ile sorulduğunu biliyorum, ancak ortalama = mod ile ilgili bir şey bulamadım. Mod ortalamaya eşitse, bunun simetrik bir dağılım olduğu sonucuna varabilir miyim? Bu şekilde medyanı da bilmek zorunda kalacağım mı?

30 distributions  mean  skewness  mode  symmetry 

[Bu soru aynı zamanda yığın taşmasına da yollandı ] Kısaca soru Konvolüsyonel sinir ağları üzerinde çalışıyorum ve bu ağların her giriş nöronuna (piksel / parametre) eşit şekilde davranmadığına inanıyorum. Bazı giriş görüntülerine evrişim uygulayan derin bir ağa (birçok katman) sahip olduğumuzu hayal edin. Görüntünün "ortasındaki" nöronların, daha derin katman nöronlarına …

30 machine-learning  neural-networks  convolution 

Gelen bu Andrew Gelman tarafından blog post aşağıdaki pasaj vardır: 50 yıl önceki Bayesian modelleri umutsuzca basit görünüyor (tabii ki, basit problemler hariç) ve bugünün Bayesian modellerinin umutsuzca basit görünmesini bekliyorum, bundan dolayı 50 yıl. (Sadece basit bir örnek için: muhtemelen hemen hemen her yerdeki normal hatalar yerine t rutin …

30 distributions  bayesian  normal-distribution  model  robust 

Genellikle futbol dünya kupası, Avrupa şampiyonası ve diğer turnuvalar için yayınlanan klasik Panini albümlerinin İnternet uyarlaması olan FIFA Panini Çevrimiçi Etiket Albümünü oynuyorum . Albümde 424 farklı çıkartma yer alıyor. Oyunun amacı, tüm 424'ü toplamaktır. Çıkartmalar, çevrimiçi olarak bulunan kodlarla (veya klasik basılı albüm için yerel gazete bayiinizde satın alındığında) …

30 probability  coupon-collector-problem 

Örneğin, standart normal dağıtımdan 10 gerçekleştirme gibi, belirli bir dağıtımdan rastgele bir sayıyı manuel olarak nasıl oluşturabilirim?

30 normal-distribution  simulation  monte-carlo  random-generation  randomness 

Korelasyonun nedensellik olmadığını biliyorum . İki değişken arasında yüksek korelasyon elde ettiğimizi varsayalım. Bu korelasyonun gerçekten nedensellik yüzünden olup olmadığını nasıl kontrol edersiniz? Veya, hangi koşullar altında, iki ya da daha fazla değişken arasındaki nedensel ilişkiyi ortaya çıkarmak için deneysel verileri tam olarak kullanabilir miyiz?

30 correlation  mathematical-statistics  causality