İstatistikler ve Büyük Veri

Bu wikipedia'da istatistiğin tanımıdır Daha resmi olarak, istatistiksel teori, istatistiğin örneğin fonksiyonunun numunenin dağılımından bağımsız olduğu bir numunenin fonksiyonu olarak tanımlar; yani işlev, verilerin gerçekleştirilmesinden önce belirtilebilir. İstatistik terimi, belirli bir örnekteki hem işlev hem de işlevin değeri için kullanılır. Sanırım bu tanımın çoğunu anlıyorum, ancak fonksiyonun numunenin dağılımından bağımsız …

14 mathematical-statistics  definition 

İstatistik / makine öğrenme yöntemlerinde fark ettim ki, dağılım genellikle Gaussian tarafından tahmin ediliyor ve sonra Gaussian'ın örnekleme için kullanıldığını görüyorum. Dağılımın ilk iki anını hesaplayarak başlarlar ve bunları μμ\mu ve σ2σ2\sigma^2 tahmin etmek için kullanırlar . Sonra Gaussian'dan örnek alabilirler. Bana öyle geliyor ki, hesapladığım anlar ne kadar iyi …

14 probability  sampling  moments 

Kabaca doğrusal bir çizgi boyunca uygun bazı veriler var: Bu değerlerin doğrusal bir regresyonunu yaptığımda doğrusal bir denklem alıyorum: y= 0.997 x - 0.0136y=0.997x−0.0136y = 0.997x-0.0136 İdeal bir dünyada, denklem gerektiğini olmak y= xy=xy = x . Açıkçası, doğrusal değerlerim bu ideale yakın , ama tam olarak değil. Sorum şu: …

14 regression  hypothesis-testing  statistical-significance 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 2 yıl önce kapalı . Sarı ve o kadar sarı olmayan basında, Simpsons'ın (TV dizisi) geleceği tekrar tekrar tahmin ettiği yaygın olarak yorumlandı. Bununla ilgili …

14 statistics-in-media 

Soru Eğer , IID, o zaman işlem olup , .X1,⋯,Xn∼N(μ,1)X1,⋯,Xn∼N(μ,1)X_1,\cdots,X_n \sim \mathcal{N}(\mu, 1)E(X1∣T)E(X1∣T)\mathbb{E}\left( X_1 \mid T \right)T=∑iXiT=∑iXiT = \sum_i X_i Deneme : Lütfen aşağıdakilerin doğru olup olmadığını kontrol edin. Diyelim ki, şu koşullu beklentilerin toplamını alalım, böylece Her demektir yana IID vardır.∑iE(Xi∣T)=E(∑iXi∣T)=T.∑iE(Xi∣T)=E(∑iXi∣T)=T.\begin{align} \sum_i \mathbb{E}\left( X_i \mid T \right) = \mathbb{E}\left( …

14 probability  self-study  mathematical-statistics  conditional-probability  conditional-expectation 

Cauchy dağılımı bir şekilde "öngörülemez" bir dağılım mı? Yapmayı denedim cs <- function(n) { return(rcauchy(n,0,1)) } R'de çok sayıda n değer için ve zaman zaman oldukça öngörülemeyen değerler ürettiklerini fark ettim. Bunu, örn. as <- function(n) { return(rnorm(n,0,1)) } her zaman "kompakt" bir nokta bulutu veriyor gibi görünüyor. Bu resim …

14 distributions  intuition  cauchy 

Titanik için aşağıdaki ifadeleri göz önünde bulundurun: Varsayım 1: Gemide sadece erkekler ve kadınlar vardı Varsayım 2: Kadınların yanı sıra çok sayıda erkek vardı Açıklama 1: Tüm kadınların yüzde 90'ı hayatta kaldı İfade 2: Hayatta kalanların yüzde 90'ı kadındı Birincisi, kadınların kurtarılmasının muhtemelen yüksek önceliğe sahip olduğunu gösterir (erkeklerin kurtarılıp …

14 conditional-probability  descriptive-statistics  reporting 

Karar ağacı algoritması her adımda bir özniteliğe bölündüğünden, karar ağacının maksimum derinliği verilerin öznitelik sayısına eşittir. Bu doğru mu?

14 classification  cart 

Algoritmaları artırmak için, oldukça iyi geliştiklerini söyleyebilirim. 1995'in başlarında AdaBoost tanıtıldı, bir süre sonra Gradient Boosting Machine (GBM) oldu. Son zamanlarda, doğru, aşırı uyumu ele alan ve birden fazla Kaggle yarışmasının galibi haline gelen XGBoost 2015 civarında piyasaya sürüldü. 2017 yılında LightGBM Microsoft tarafından tanıtıldı, XGBoost'a kıyasla önemli ölçüde daha …

14 random-forest  boosting  bagging 

İstatistikte yüksek lisans öğrencisiyim ve bu yüzden uygulamalı bilim adamları (ekonomistler, ormancılar,…) ile birkaç işbirliğine katıldım. Bu işbirlikleri eğlencelidir (çoğu zaman) ve çok şey öğreniyorum, ancak bazı komplikasyonlar da var, örneğin: Bazen iyi bir istatistiksel modelin ne olduğuna ilişkin görüşüm, ortak çalışanların geçmişinden ve alanlarındaki ortak uygulamalardan farklıdır. Onları yeni …

14 references 

Bunu burada StackExchange istatistiklerinde mi yoksa dilbilimde / İngilizce mi diye sormaktan çekiniyorum, ancak burada diğer forumdaki istatistik meraklı kullanıcılardan daha fazla dil nitpike kullanıcısı olabileceğini tahmin ediyorum;) Sıklıkla, “Daha sonra A'yı B ile ilişkilendirip bulduk ...” bölümünde olduğu gibi, aktif seste bir fiil olarak korelasyondan bahseden raporları okurum. Bana …

14 correlation  terminology 

Derin öğrenme literatürü, degrade inişte sabit olmayan öğrenme oranları kullanarak akıllı hilelerle doludur. Üstel bozunma, RMSprop, Adagrad gibi şeylerin uygulanması kolaydır ve her derin öğrenme paketinde mevcuttur, ancak sinir ağlarının dışında var gibi görünmektedir. Bunun için herhangi bir nedeni var mı? Eğer insanlar umursamıyorlarsa, sinir ağlarının dışına bakmamıza gerek yok …

14 machine-learning  deep-learning  optimization  gradient-descent 

Hamiltonian Monte Carlo'nun nasıl çalıştığına dair aptallar için adım adım açıklama sağlayabilir misiniz? Not: Zaten cevapları burada okudum, Hamiltonian monte carlo , ve burada, Hamiltonian Monte Carlo vs. Sıralı Monte Carlo ve burada, Hamiltonian Monte Carlo: Metropolis-Hasting önerisini nasıl anlayabilirim? ve bunu adım adım ele almıyorlar.

14 bayesian  hmc 

P (x, y), p (x, z) ve p (y, z) 'yi bildiğimizi varsayalım, p (x, y, z) eklem dağılımının tanımlanabilir olduğu doğru mu? Yani, marjinallerin üzerinde sadece bir olası p (x, y, z) var mı?

14 distributions  mathematical-statistics 

Simülasyonlu kuantum bilgisayarlar için artık yüksek ve düşük seviyelerde donanım kuantum bilgisayarları öngören kuantum dilleri ile kuantum hesaplamanın başlangıcındayız . Kuantum hesaplama , kubitlerin dolanması ve ışınlanması , kubitlerin ölçülmesi ve kubitlerin üst üste binmesi gibi yeni temel işlevleri getirir . Kuantum hesaplamasından ne tür istatistiksel problemler yararlanabilir? Örneğin, kuantum …

14 quantum-computing