İstatistikler ve Büyük Veri

Durum Bazı araştırmacılar sizi uyutmak istiyor. Adil bir madalyonun sırrına bağlı olarak, sizi bir kez (Başlar) veya iki kez (Kuyruklar) kısaca uyandırırlar. Her uyandıktan sonra, sizi uyandırdığınızı unutan bir ilaçla uyumaya başlatacaklar. Eğer uyanmış zaman, ne ölçüde olmalıdır için size yazı-tura sonucu Başkanları olduğuna inanıyoruz? (Tamam, belki de bu deneyin …

133 decision-theory  paradox 

Bu bir süredir beni rahatsız eden bir şey ve çevrimiçi olarak tatmin edici bir cevap bulamadım, işte burada: Dışbükey optimizasyon üzerine bir dizi dersi inceledikten sonra, Newton'un metodu global olarak en uygun çözümleri bulmak için gradyan inişinden çok daha üstün bir algoritma gibi görünmektedir, çünkü Newton'un metodu çözümü için bir …

132 machine-learning  optimization  gradient-descent  hessian 

Bir veri madenciliği kitabı okuyorum ve sınıflayıcıların tahmin performansını değerlendirmenin bir aracı olarak Kappa istatistiklerinden bahsetti. Ancak bunu anlayamıyorum. Ayrıca Wikipedia'yı da kontrol ettim ama bu da yardımcı olmadı: https://en.wikipedia.org/wiki/Cohen's_kappa . Cohen'in kappa sınıflandırıcıların öngörü performansını değerlendirmede nasıl yardımcı olur? Ne anlatıyor? % 100 kappa'nın sınıflandırıcının rastgele bir sınıflandırıcıyla tamamen …

131 classification  data-mining  cohens-kappa 

Bir de son makalesinde ait Amstat News bir ilan edecek - yazarlar (Mark van der Laan ve Sherri Gül) Biz yeterince büyük örnek boyutları için, hiçbir etkisi sıfır hipotezi doğrudur gösterdiği her çalışma dahil olanlar olduğunu biliyoruz" belirtti istatistiksel olarak anlamlı etki. " Ben bunu bilemedim. Bu doğru mu? Büyük …

129 hypothesis-testing  sample-size  dataset  large-data 

Varyans ve standart sapma arasındaki farkın ne olduğunu merak ediyordum. İki değeri hesaplarsanız, standart sapmayı varyansın dışına çıkardığınız açıktır, ancak gözlemlediğiniz dağılım açısından bu ne anlama geliyor? Ayrıca, neden gerçekten standart bir sapmaya ihtiyacınız var?

127 variance  mathematical-statistics  standard-deviation 

Örüntü tanıma ve istatistik çalışıyorum ve konuyla ilgili açtığım hemen hemen her kitabı Mahalanobis mesafesi kavramına çarpıyorum . Kitaplar bir tür sezgisel açıklamalar veriyor, ama hala neler olduğunu gerçekten anlayabilmem için yeterince iyi değil. Biri bana "Mahalanobis mesafesi nedir?" Diye sorarsa. Sadece cevap verebilirdim: "Bir çeşit mesafeyi ölçen bu güzel …

127 normal-distribution  mathematical-statistics  distance  pattern-recognition  intuition 

Rastgele ormanlar kara kutu olarak kabul edilir, ancak son zamanlarda rastgele bir ormandan hangi bilgilerin elde edilebileceğini düşünüyordum? En belirgin şey değişkenlerin önemidir, en basit değişkende, sadece değişkenlerin oluşum sayısını hesaplayarak yapılabilir. Düşündüğüm ikinci şey etkileşimler. Ağaç sayısı yeterince büyükse, o zaman değişken çiftlerinin oluşum sayısının test edilebildiğini düşünüyorum (ki …

127 machine-learning  data-mining  interaction  random-forest  cart 

Bunu gerçekten kimsenin sormamış gibi görünmesine şaşırdım ... Tahmin edicileri tartışırken, sıklıkla kullanılan iki terim "tutarlı" ve "yansız" dır. Sorum basit: fark nedir? Bu terimlerin kesin teknik tanımları oldukça karmaşıktır ve bunların ne için sezgisel bir fikir edinmesini zor demek . İyi bir tahminci ve kötü bir tahminci hayal edebiliyorum, …

125 unbiased-estimator  estimators  consistency 

Bir grup öğrencide, solak 18 kişiden 2'si vardır. Öğrenimsiz olduğunu varsayarsak popülasyondaki solak öğrencilerin arka dağılımını bulun. Sonuçları özetle. Literatüre göre insanların% 5-20'si solaktır. Bu bilgileri öncekilerinizde dikkate alın ve yeni posterior hesaplayın. Beta dağılımının burada kullanılması gerektiğini biliyorum . İlk olarak, αα\alpha ve ββ\beta değerleri 1 olarak? Posterior malzemesinde …

124 distributions  bayesian  prior  posterior 

Son zamanlarda derin öğrenme hakkında okudum ve terimler hakkında kafam karıştı (ya da teknolojiler deyin). Arasındaki fark nedir Konvolüsyonel sinir ağları (CNN), Sınırlı Boltzmann makineleri (RBM) ve Otomatik kodlayıcılar?

123 neural-networks  deep-learning  conv-neural-network  autoencoders  rbm 

Birçok gözlem ve değişken içeren bir veri çerçevem ​​var. Bazıları kategoriktir (sıralanmamış), bazıları sayısaldır. Bu değişkenler arasındaki ilişkileri arıyorum. Sayısal değişkenler için korelasyon hesaplayabildim (Spearman korelasyonu) ama: Sırasız kategorik değişkenler arasındaki ilişkiyi nasıl ölçeceğimi bilmiyorum. Sırasız kategorik değişkenler ile sayısal değişkenler arasındaki ilişkiyi nasıl ölçeceğimi bilmiyorum. Bunun nasıl yapılabileceğini bilen …

123 r  correlation  categorical-data  continuous-data  mixed-type-data 

Doğrusal regresyon ve lojistik regresyon arasındaki fark nedir? Her birini ne zaman kullanırsın?

122 regression  logistic  linear-model 

Biz var rastgele deney farklı olan sonuçların oluşturan örnek uzay Ω ,Ω,\Omega, denilen biz belli kalıplarını ilgiyle bakmak hangi, olaylar F.F.\mathscr{F}. Sigma-cebirleri (veya sigma-alanları) , bir olasılık ölçüsü PP\mathbb{P} atanabileceği olaylardan oluşur . Boş kümenin ∅∅\varnothing ve tüm örnek uzayının dahil edilmesi ve Venn diyagramlarıyla sendikaları ve kavşakları tanımlayan bir …

122 probability  intuition  measure-theory  sigma-algebra 

Soru (hafifçe değiştirilmiş) aşağıdaki gibi gider ve eğer daha önce hiç karşılaşmadıysanız, Sheldon Ross'un Olasılıkta Bir İlk Kursunun 2. bölümündeki örnek 6a'yı kontrol etmeden önce : Sonsuz derecede büyük bir semire ve 1, 2, 3 ve benzeri numaralı bilyalı etiketli sonsuz bir top koleksiyonuna sahip olduğumuzu varsayalım. Aşağıdaki şekilde gerçekleştirilen …

121 probability  paradox 

Spearman's ile Pearson r. Arasında ne zaman seçileceğini nasıl bilebilirim ? Değişkenim memnuniyet içerir ve puanlar toplamı kullanılarak yorumlanır. Ancak, bu puanlar da sıralanabilir.ρρ\rhorrr

119 correlation  pearson-r  spearman-rho