İstatistikler ve Büyük Veri

Voltmetre hikayesini ve varyasyonlarını sık sık ele alan nedir? Bunun arkasındaki fikir, varsayımsal olaylara hitap eden bir istatistiksel analizin, daha sonra bu varsayımsal olayların varsayıldığı gibi yapılamayacağı öğrenilirse gözden geçirilmesi gerektiğidir. Vikipedi'de hikayenin versiyonu aşağıda verilmiştir. Bir mühendis rastgele bir elektron tüpü örneği çizer ve voltajlarını ölçer. Ölçümler 75 ila …

15 likelihood  frequentist 

Araştırmam için gerekli bir dizin oluşturmak için Temel Bileşen Analizi'ni (PCA) kullanıyorum. Benim sorum PCA üzerinden hesaplanan tutulan temel bileşenleri kullanarak nasıl tek bir dizin oluşturmak gerekir. Örneğin, PCA kullandıktan sonra 3 temel bileşeni tutmaya karar verdim ve bu 3 temel bileşen için puanları hesapladım. Her 3 katılımcı için bu …

15 pca  factor-analysis  rating  composite  scale-construction 

Normal olarak dağıtılan veriler için standart sapma σσ\sigma ve ortanca mutlak sapma MADMAD\text{MAD} aşağıdakilerle ilişkilidir: σ=Φ−1(3/4)⋅MAD≈1.4826⋅MAD,σ=Φ−1(3/4)⋅MAD≈1.4826⋅MAD,\sigma=\Phi^{-1}(3/4)\cdot \text{MAD}\approx1.4826\cdot\text{MAD}, burada Φ()Φ()\Phi() , standart normal dağılım için kümülatif dağılım işlevidir. Diğer dağıtımlar için de benzer bir ilişki var mı?

15 distributions  standard-deviation  mad 

Bir dizi muntazam değişkenten normal bir dağılımı simüle etmek için birkaç teknik vardır: Biri iki bağımsız üniforma örneği (0,1)(0,1)(0,1) değişen ve bunları iki bağımsız standart normal dağılıma dönüştüren Box-Muller algoritması : Z0=−2lnU1−−−−−−√cos(2πU0)Z1=−2lnU1−−−−−−√sin(2πU0)Z0=−2lnU1cos(2πU0)Z1=−2lnU1sin(2πU0) Z_0 = \sqrt{-2\text{ln}U_1}\text{cos}(2\pi U_0)\\ Z_1 = \sqrt{-2\text{ln}U_1}\text{sin}(2\pi U_0) CDF yöntemi , burada normal cdf'yi (F(Z))(F(Z))(F(Z)) bir Tekdüzen değişkenine …

15 normal-distribution  simulation  uniform 

İstatistik profesörüm öyle diyor ki, baktığım tüm kitaplar bunu söylüyor: post-hoc test bilimsel değil. Önce teoriden bir hipotez türetmeli, sonra veri toplamalı ve analiz etmelisiniz . Ama sorunun ne olduğunu gerçekten anlamıyorum. Farz edelim ki, farklı araba renkleri için satış rakamları görüyorum ve sokaktaki en büyük araba grubunu satan farklı …

15 post-hoc 

Gözlemsel verilerle nedensellik çıkarmak için araçsal değişken analizi kullanmaya çalışıyorum. Araştırmamdaki endojenite sorununu ele alacak iki aşamalı en küçük kareler (2SLS) regresyonu ile karşılaştım. Ancak, ilk aşama OLS ve ikinci aşama 2SLS içinde probit olmak istiyorum. Okuma ve araştırmama dayanarak, araştırmacıların 2SLS veya birinci aşama probit ve ikinci aşama OLS …

15 stata  probit  instrumental-variables  2sls 

"Kukla değişken" ve "gösterge değişkeni" , 0/1 kodlamalı bir kategoriye üyeliği tanımlamak için sık kullanılan terimlerdir; genellikle 0: Kategoriye üye değil, 1: Kategoriye üye. 26.11.2014 tarihinde scholar.google.com'da (tırnak işaretleri dahilinde) yapılan hızlı bir arama, yaklaşık 318.000 makalede "kukla değişken" ve yaklaşık 112.000 makalede "gösterge değişkeni" olduğunu gösterir. "Kukla değişken" terimi …

15 categorical-data  terminology  categorical-encoding 

Geçmişim ağırlıklı olarak makine öğrenimi ve Bayesci Hipotez testinin ne anlama geldiğini öğrenmeye çalışıyordum. Olasılığın bayes yorumuyla iyiyim ve olasılıklı grafik modeller bağlamında buna aşinayım. Ancak, beni şaşırtan şey, "Hipotez" kelimesinin istatistiksel çıkarım bağlamında ne anlama geldiği. Ben genellikle makine öğrenimine alışkın olduğum kelime dağarcığıyla karşılaştırıldığında normalde istatistik ve çıkarımda …

15 hypothesis-testing 

İhtiva eden bir kabı düşünün topları ile, farklı renk renk topları oranıdır arasında topları ( ). Ben çizmek urn topları olmadan sayı en değiştirilmesi ve görünüm çizildi topları arasında farklı renklerin. dağılımının uygun özelliklerine bağlı olarak , bir fonksiyonu olarak beklentisi nedir ?P p i i N ∑ i p …

15 probability  expected-value  coupon-collector-problem 

Gördüğüm kadarıyla, (ikinci dereceden) Kneser-Ney yumuşatma formülü şu ya da bu şekilde P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} normalize faktörü ile λ(wn−1)λ(wn−1)\lambda(w_{n-1}) olarak verilmiştir λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) \begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align} ve devam olasılığı Pcont(wn)Pcont(wn)P_{cont}(w_n) …

15 machine-learning  natural-language  naive-bayes  smoothing  language-models 

Karışık etkiler modelinde, tüm olası seviyeler dahil edildiğinde (örneğin hem erkekler hem de kadınlar) bir parametreyi tahmin etmek için sabit bir etki kullanılması önerilir. Ayrıca, dahil edilen seviyeler bir popülasyondan sadece rastgele bir örnekse (olası hastaların evreninden kayıtlı hastalar) ve araçlar yerine popülasyon ortalamasını ve varyansını tahmin etmek istiyorsanız, bir …

15 mixed-model  random-effects-model  fixed-effects-model  many-categories 

Harvard'ın iTunes ve YouTube'da bulunan İstatistik 110: Olasılık kursunun video derslerinde bu sorunla karşılaştım . Burada özetlemeye çalıştım: Standart bir desteden rastgele iki kartlı bir el verildiğimizi varsayalım. En az bir asımız olduğu için her iki kartın da as olma olasılığı nedir? P( b o t h a c e …

15 probability  conditional-probability  intuition 

Yakın zamanda , olasılık sorularından birinin aşağıdaki gibi olduğu bir veri bilimi görüşme kaynağı satın aldım : Bilinen parametrelerle normal bir dağılımdan çekilişler verildiğinde, düzgün bir dağılımdan çekilişleri nasıl simüle edebilirsiniz? Orijinal düşünce sürecim, ayrı bir rastgele değişken için, her alt bölümün normal eğri altında eşit bir alana sahip olduğu …

15 self-study  normal-distribution  simulation  uniform 

Not: Şimdi 50 puan ham veri eklenmiştir. Ne kadar çalışma yaptığımı ve hafta boyunca kaç sayfayı tamamladığımı, güne göre ayrılmış olarak göstermek istiyorum ve bunu aşağıda gösterildiği gibi yaptım: İnsanlara grafikleri anlayamadıklarını söyledim, ama bunları nasıl gösterebileceğim hakkında hiçbir fikrim yok. Kümülatif bir tasvir yapmadan aslında üç boyuta ihtiyacım olduğu …

15 data-visualization 

Üstel aile \newcommand{\E}{\mathbb{E}}için A(⋅)=∫duV1/3(μ)A(⋅)=∫duV1/3(μ)A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)} normalleştirme dönüşümü nasıl türetilmişk Daha spesifik olarak : Sayfa 3'teki Taylor genişletme taslağını takip etmeye çalıştım, burada slayt 1, ancak birkaç sorum var. İle XXX bir üstel ailesinden, dönüşüm h(X)h(X)h(X) ve κiκi\kappa _i belirten ithithi^{th} kümülant lamlar iddia: κ3(h(X¯))≈h′(μ)3κ3(X¯)N2+3h′(μ)2h′′(μ)σ4N+O(N−3),κ3(h(X¯))≈h′(μ)3κ3(X¯)N2+3h′(μ)2h″(μ)σ4N+O(N−3), \kappa _3(h(\bar{X})) \approx h'(\mu)^3\frac{\kappa _3(\bar{X})}{N^2} …

15 data-transformation  residuals  asymptotics  exponential-family