İstatistikler ve Büyük Veri

\newcommand{\P}{\mathbb{P}} Diyelim ki değişken rasgele değişkenler var , \ ldots , X_n sonlu araçlar var \ mu_1 \ leq \ ldots \ leq \ mu_N ve varyans \ sigma_1 ^ 2 , \ ldots , \ sigma_N ^ 2 . Herhangi bir X_i \ neq X_N'nin diğer tüm X_j , …

21 probability  bounds  maximum 

John Kruschke'nin "Bayesian Veri Analizi Yapma" slaytlarını okuyorum , ancak aslında t testleri ve / veya tüm boş hipotez önemi test çerçevesini yorumlaması hakkında bir sorum var. P-değerlerinin tanımsız olduğunu, çünkü araştırmacının niyetine bağlı olduğunu savunuyor. Özellikle, iki tedaviyi karşılaştırarak aynı veri setlerini toplayan iki laboratuardan bir örnek (sayfa 3-6) …

21 hypothesis-testing 

İki rastgele değişkenin aynı dağılıma sahip olması mümkün mü ve yine de neredeyse kesinlikle farklılar mı?

21 distributions  probability 

Ders kitaplarında, Grafik Modeller, Üstel Aileler ve Varyasyonel Çıkarım , M. Jordan ve M. Wainwright , Üstel aileler ve Markov Rastgele Alanları (yönlendirilmemiş grafik modeller) arasındaki bağlantıyı tartışıyor . Aşağıdaki sorularla aralarındaki ilişkiyi daha iyi anlamaya çalışıyorum: Tüm MRF'ler Üstel ailelerin üyeleri mi? Üstel ailelerin tüm üyeleri bir MRF olarak …

21 mathematical-statistics  graphical-model 

Ben sadece (belli belirsiz) brownian / mesafe kovaryansı / korelasyonuna girdim . Bağımlılık testi yapılırken, doğrusal olmayan birçok durumda özellikle yararlı görünüyor. Ancak, kovaryans / korelasyon çoğu zaman doğrusal olmayan / kaotik olmayan veriler için kullanılmasına rağmen, çok sık kullanılmıyor gibi görünüyor. Bu bana mesafe kovaryansının bazı sakıncaları olabileceğini düşünüyor. …

21 correlation  covariance  distance-covariance 

Herkes arasındaki fark arkasında herhangi bir fikir veya sezgi vardı acaba Bilgi Değişimi ve Rand Index kümelenmemeler karşılaştırmak için. Marina Melia'nın (Çok Değişkenli Analiz Dergisi, 2007) " Kümelemeleri Karşılaştırma - Bilgiye Dayalı Bir Mesafe " adlı makalesini okudum , ancak tanımlardaki farklılığı fark etmekten başka, bilginin varyasyonunun ne olduğunu anlamıyorum. …

21 machine-learning  clustering  metric 

Standart sinir ağı algoritmalarının (backprop gibi) sınırlamaları, kaç tane gizli katman ve katman başına nöron istediğiniz bir tasarım kararı vermeniz gerektiğidir. Genellikle, öğrenme oranı ve genelleme bu seçimlere karşı oldukça hassastır. Bunun nedeni, kaskad korelasyonu gibi sinir ağı algoritmalarının ilgi uyandırmasının nedeni olmuştur. Minimal bir topoloji ile başlar (sadece giriş …

21 neural-networks 

Birkaç farklı sınıflandırıcıyı eğitebileceğiniz veya birkaç farklı özellik çıkarma yöntemi kullanabileceğiniz birçok durum vardır. Literatürde yazarlar sıklıkla verinin bir rasgele bölmeleri kümesi (yani iki kat yuvalanmış çapraz doğrulama sonrasında) üzerinde ortalama sınıflandırma hatası verir ve bazen de bölmeler üzerindeki hata üzerinde değişiklikler yapar. Bununla birlikte, bu kendi başına bir sınıflandırıcının …

21 classification  statistical-significance 

Her zaman regresyonun ANOVA'nın daha genel bir formu olduğu ve sonuçların aynı olacağı izlenimindeydim. Ancak son zamanlarda, aynı veriler üzerinde hem regresyon hem de ANOVA kullandım ve sonuçlar önemli ölçüde farklılık gösteriyor. Yani, regresyon modelinde hem ana etkiler hem de etkileşim önemlidir, ANOVA'da ise bir ana etki anlamlı değildir. Bunun …

21 r  regression  anova 

Oldukça gizli Markov modellerini okudum ve oldukça basit bir versiyonunu kendim kodladım. Fakat öğrendiğim iki ana yol var. Birincisi kodu (yapılan) okumak ve uygulamak, ikincisi ise farklı durumlarda nasıl uygulandığını anlamaktır (bu yüzden üzerinde çalıştığım problemlerle nasıl ilişkili olduğunu daha iyi anlayabilirim). Şimdiye kadar yaptığım tüm örnekler, bir tür DNA …

21 algorithms  markov-process 

Wikipedia'nın NPS'nin nasıl hesaplandığını açıklamasına izin vereceğim : Net Promoter Score, müşterilere 0'dan 10'a kadar derecelendirme ölçeğinde tek bir soru sorularak elde edilir; 10, "aşırı derecede muhtemeldir" ve 0 "hiç de muhtemel değildir": arkadaş ya da meslektaş? Yanıtlarına göre, müşteriler üç gruba ayrılır: Promoterler (9–10 derece), Pasifler (7–8 derece) ve …

21 hypothesis-testing  statistical-significance  standard-error  multinomial  nps 

Çıkarım için Markov zinciri Monte Carlo ile çalışırken, hızlı bir şekilde karışan, yani posterior dağılımın desteğini hızla hareket ettiren bir zincire ihtiyacımız var. Fakat neden bu özelliğe ihtiyaç duyduğumuzu anlamıyorum, çünkü anladığım kadarıyla, kabul edilen aday çizimleri posterior dağılımın yüksek yoğunluklu kısmında yoğunlaşmalı ve yoğunlaşmalıdır. Anladığım şey doğruysa, hala zincirin …

21 mcmc 

Kilitli . Bu soru ve cevapları kilitli çünkü soru konu dışı, ancak tarihsel öneme sahip. Şu anda yeni cevaplar veya etkileşimler kabul etmiyor. R: 'de doğrusal bir model yarattım mod = lm(train_y ~ train_x). X'in bir listesini iletmek ve öngörülen / tahmin edilen / tahmin edilen Y'yi almak istiyorum. Baktım …

21 r  forecasting  linear-model 

Ters matris hesaplamam gerekiyor ve solvefonksiyon kullanıyordum . Küçük matrislerde iyi çalışsa da, solvebüyük matrislerde çok yavaş olma eğilimindedir. Bana daha hızlı sonuç verebilecek başka bir fonksiyon veya fonksiyon kombinasyonlarının (SVD, QR, LU veya diğer ayrışma fonksiyonları aracılığıyla) olup olmadığını merak ediyordum.

21 r  matrix-decomposition  matrix-inverse 

"Varyans önyargılı bir tahmincidir" demek ne demek? Önyargılı bir tahmini basit bir formülle tarafsız bir tahmine dönüştürmek ne anlama gelir? Bu dönüşüm tam olarak ne yapar? Ayrıca, bu dönüşümün pratik kullanımı nedir? Belirli puanları kullanırken bu puanları dönüştürür müsünüz?

21 theory  unbiased-estimator  descriptive-statistics