İstatistikler ve Büyük Veri

Geri yayılımın softmax / çapraz entropi çıkış katmanı için nasıl çalıştığını anlamaya çalışıyorum. Çapraz entropi hata fonksiyonu: E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j sırasıyla nöron j'de hedef ve çıktı olarak ttt ve ile . Toplam, çıktı katmanındaki her nöronun üzerindedir. o j , softmax işlevinin bir sonucudur:ooojjjojojo_j oj=softmax(zj)=ezj∑jezjoj=softmax(zj)=ezj∑jezjo_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}} Yine, toplam, çıktı …

40 backpropagation  derivative  softmax  cross-entropy 

Birisi, verilerin özelliklerine (gözlem sayısı, vb.) Ve / veya içerilen değişkenlere dayanarak, kullanılması gereken önyükleme örneklerinin sayısıyla ilgili genel kurallar biliyor mu?

40 bootstrap  inference  monte-carlo 

Medyada her yerde "Büyük veri" var. Herkes "büyük veri" nin 2012 için büyük bir şey olduğunu söylüyor, örneğin KDNuggets 2012 için sıcak konuları araştırıyor . Ancak, burada derin endişelerim var. Büyük verilerle, herkes bir şey çıkarmaktan mutlu görünüyor . Fakat hipotez testi ve temsili örnekleme gibi tüm klasik istatistiksel ilkeleri …

40 data-mining  dataset  large-data  validation 

Çoklu regresyonda bir baskılayıcı değişkeni nedir ve baskılama etkisini görsel olarak göstermenin yolları (mekaniği ya da sonuçlardaki kanıtı) olabilir? Paylaşmaya, düşüncesi olan herkesi davet etmek istiyorum.

40 multiple-regression  data-visualization  geometry  suppressor 

Medyan ve diğer yüzdelik oranlarda% 95 CI bulmalıyım. Buna nasıl yaklaşacağımı bilmiyorum. Temelde R'yi programlama aracı olarak kullanıyorum.

40 r  confidence-interval  median 

Regresyon için rastgele ormanlarla oynuyordum ve iki önemli önlemin ne anlama geldiğini ve bunların nasıl yorumlanması gerektiğini tam olarak çözmekte zorlanıyorum. importance()Fonksiyon her bir değişken için iki değer verir: %IncMSEve IncNodePurity. Bu 2 değer için basit yorumlar var mı? İçin IncNodePurityözellikle bu sadece tutar o değişkenin çıkarılmasını takiben RSS artıştır?

40 r  machine-learning  random-forest  importance 

İstatistiklere yeniyim ve şu anda ANOVA ile ilgileniyorum. Kullanarak R'de ANOVA testi yapıyorum aov(dependendVar ~ IndependendVar) Ben - diğerleri arasında - bir F değeri ve bir p değeri alıyorum. Boş hipotezim ( ) tüm grupların eşit olduğu yönünde.H0H0H_0 F'nin nasıl hesaplandığı hakkında birçok bilgi var , ancak bir F istatistiğini …

40 r  anova  interpretation 

İçinde lojistik bir regresyon analizi yapmaya çalışıyorum R. STATA kullanarak bu materyali kapsayan derslere katıldım. İçinde işlevselliği çoğaltmak çok zor buluyorum R. Bu alanda olgunlaşmış mu? Çok az dokümantasyon veya rehberlik mevcut gibi görünüyor. Olasılık oranı çıktısı üretmek , hiçbiri çalışamadığım, eskimiş veya belge eksikliği olan kurulum epicalcve / veya …

40 r  logistic  odds-ratio 

Orta derecede çarpık olan tek biçimli bir dağılım için, ortalama, medyan ve mod arasında şu ampirik ilişkiye sahibiz: Bu ilişki nasıl ortaya çıktı?(Ortalama - Mod) ∼ 3(Ortalama - Ortanca)(Mean - Mode)∼3(Mean - Median) \text{(Mean - Mode)}\sim 3\,\text{(Mean - Median)} Karl Pearson bu sonuca varmadan önce bu ilişkilerin binlerce yerini çizdi …

40 distributions  mathematical-statistics  descriptive-statistics  history 

7 metin düzeltme davranışı ölçüsünün (metni düzeltmek için harcanan zaman, tuş vuruşlarının sayısı vb.) Birbirleriyle nasıl ilişkili olduğunu görmek istiyorum. Ölçüler birbiriyle ilişkilidir. Ölçümlerin PC1 ve PC2'ye nasıl yansıtıldığını görmek için bir PCA kullandım; bu, ölçümler arasında ayrı iki yönlü korelasyon testleri yürütmenin üst üste gelmesini engelledi. Neden bazı-SNE kullanmıyordum, …

39 pca  tsne 

Ben bir ekonomi / stat uzmanıyım. Ekonomistlerin, insanların rasyonel davranmadıkları durumları belirleyerek, insan davranışı ve rasyonellik hakkındaki varsayımlarını değiştirmeye çalıştıklarının farkındayım. Örneğin, 1000 dolar zarar için % 100 şans veya 2500 dolar zarar için % 50 şans sunduğumu varsayalım, bu rakam beklenen değer 1000 dolardan fazla olsa bile insanlar 2500 …

39 bias 

R'deki BEST gibi bir tak ve çalıştır yöntemi aramıyorum, ancak iki örneğin ortalaması arasındaki farkı test etmek için kullanabileceğim bazı Bayesian yöntemlerinin matematiksel bir açıklaması.

39 hypothesis-testing  bayesian  t-test 

Verilere verilen dağılımı analiz etmeye çalışırken olasılık grafikleri, PP grafikleri ve QQ grafikleri arasındaki fark nedir?

39 probability  data-visualization  goodness-of-fit  qq-plot 

Bayesian veri analizinde, parametreler rastgele değişkenler olarak değerlendirilir. Bu, Bayesian'nin öznel olasılık kavramsallaştırmasından kaynaklanmaktadır. Fakat Bayesanlar teorik olarak 'gerçek dünyada' tek bir sabit parametre değerinin olduğunu kabul ediyor mu? Açık bir cevap 'evet' gibi gözüküyor, çünkü parametreyi tahmin etmeye çalışmak neredeyse saçma olacak. Bu cevap için yapılan akademik bir alıntı …

39 probability  bayesian  parameterization 

Diyelim İki 1 boyutlu diziler var ki ve . Her biri 100 veri noktası içerir. gerçek veri ve modeli tahminidir. Bu durumda, değeri şöyle olacaktır: Bu arada, bu korelasyon katsayısının kare değerine eşit olacaktır, : Şimdi iki takas eğer gerçek veri ve modeli tahmindir. Denklemden , korelasyon katsayısının hangisinin önce …

39 correlation  r-squared