İstatistikler ve Büyük Veri

Çoğu zaman insanlar değişken dönüşümler hakkında konuşurlar (hem öngörücü hem de yanıt değişkenleri için), verilerin çarpıklığını tedavi etmenin yollarını tartışırlar (log dönüşümü, kutu ve cox dönüşümü gibi). Anlayamadığım şey, çarpıklığı gidermek neden bu kadar yaygın bir uygulama olarak kabul edilir? Çarpıklık, ağaç tabanlı modeller, doğrusal modeller ve doğrusal olmayan modeller …

16 modeling  skewness 

Bir makale okuyordum ve şu cümleyi gördüm: Belirli bir martingale için, üst veya alt sınırı varsa, martingale birleşmelidir (as). Olasılık her zaman negatif olmadığından, 0 bir alt sınırdır. "As" ne anlama geliyor? Yaygın bir kullanım mıdır? Benim tahminim "asimptotik" ama doğrulamak istiyorum.

16 abbreviation 

Regresyonda sıfır modeli nedir ve sıfır modeli ile sıfır hipotezi arasındaki ilişki nedir? Anladığım için, bu demek oluyor Sürekli yanıt değişkenini tahmin etmek için "yanıt değişkeninin ortalaması" mı kullanıyorsunuz? Ayrık yanıt değişkenlerini tahmin etmede "etiket dağıtımı" mı kullanıyorsunuz? Bu durumda, sıfır hipotezi arasındaki bağlantıların eksik olduğu görülmektedir.

16 regression  hypothesis-testing  classification  terminology  model 

Topluluk öğrenimi konusunda biraz kafam karıştı. Özetle, k modellerini çalıştırır ve bu k modellerinin ortalamasını alır. K modellerinin ortalamasının kendi başına herhangi bir modelden daha iyi olacağı nasıl garanti edilebilir? Önyargının "yayıldığını" veya "ortalandığını" anlıyorum. Ancak, toplulukta iki model varsa (yani k = 2) ve biri diğerinden daha kötü ise …

16 machine-learning  ensemble 

Bu sorun laboratuvarımın robotik kapsamdaki araştırmalarıyla ilgilidir: Değiştirmeden { 1 , 2 , … , m } kümesinden nnn sayıları rastgele çizin ve sayıları artan sırada sıralayın. 1 ≤ n ≤ m .{1,2,…,m}\{1,2,\ldots,m\}1≤n≤m1\le n\le m Bu sıralı { a ( 1 ) , a ( 2 ) , … , …

16 probability  mathematical-statistics  uniform  combinatorics  order-statistics 

Ortalama ve varyans sırasıyla 0 ve 1 olarak sabitlendiğinden standart normal dağılımın benzersiz olduğunu öğrendim. Bu nedenle, herhangi iki standart rastgele değişkenin bağımsız olması gerekip gerekmediğini merak ediyorum.

16 normal-distribution  independence 

Uygulamalı bir istatistikçi / ekonometri uzmanı olarak nedenselliğe hangi teorik yaklaşımları bilmeliyim? Biliyorum (çok az) Neyman – Rubin nedensel modeli (ve Roy , Haavelmo vb.) Pearl'ün Nedensellik Üzerine Çalışması Granger Nedensellik (daha az tedavi odaklı olsa da) Hangi kavramları özlüyorum ya da farkında olmam gerekir mi? İlgili: Makine öğrenmesinde nedenselliğin …

16 machine-learning  causality  theory  treatment-effect 

Sinir ağı literatüründe sıklıkla "tensör" kelimesiyle karşılaşırız. Bir vektörden farklı mı? Ve bir matristen mi? Tanımını açıklayan özel bir örneğiniz var mı? Tanımı hakkında biraz kafam karıştı. Wikipedia yardımcı olmuyor ve bazen tanımının kullanılan spesifik makine öğrenme ortamına (TensorFlow, Caffee, Theano) bağlı olduğu izlenimine kapılıyorum.

16 neural-networks  terminology  definition  tensor 

Arkaplan: Geçmiş ~ 4 yıldaki ( alexnet sonrası ) modern araştırmaların çoğu, en son sınıflandırma sonuçlarına ulaşmak için sinir ağları için üretken ön eğitim kullanmaktan uzaklaşmıştır. Örneğin, burada mnist için en iyi sonuçlar , her ikisi de RBM olan üretken modeller kullanıyor gibi, ilk 50'nin sadece 2 makalesini içeriyor. Kazanan …

16 references  deep-learning  rbm  generative-models 

Standart bir OLS regresyon problemini düşünün\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}YY\YXX\Xββ\BΒ = argmin β { L } = ( x ⊤ X ) + X ⊤ Y .L=∥Y−Xβ∥2.L=‖Y−Xβ‖2.L=\|\Y-\X\B\|^2.β^=argminβ{L}=(X⊤X)+X⊤Y.β^=argminβ⁡{L}=(X⊤X)+X⊤Y.\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y. Ben aynı zamanda bir "ters" Sorun oluşturabilir: Verilen YY\Y ve β∗β∗\B^* bulmak X^X^\hat\X doğuracak β^≈β∗β^≈β∗\hat\B\approx \B^* , yani minimize edecek ∥argminβ{L}−β∗∥2‖argminβ⁡{L}−β∗‖2\|\argmin_\B\{L\}-\B^*\|^2 . …

16 regression  least-squares  ridge-regression 

Birlikte yeniden oluşturmaya çalışın optimtakılmış basit doğrusal regresyon sonuçlarının glmhatta nlsR fonksiyonları. Parametre tahminleri aynıdır, ancak artık varyans tahmini ve diğer parametrelerin standart hataları, özellikle numune boyutu düşük olduğunda aynı değildir. Bunun, maksimum standart olabilirlik ve en küçük kare yaklaşımları arasında kalan standart hatanın hesaplanma biçimindeki farklılıklardan kaynaklandığını düşünüyorum (n'ye …

16 r  maximum-likelihood  optimization 

Tehlike oranının tanımı olarak görev yapan denklem hakkında kafam karıştı. Tehlike oranının ne olduğu hakkında bir fikrim var, ama denklemin bu sezgiyi nasıl ifade ettiğini görmüyorum. Eğer bir zaman aralığına birinin ölüm zamanı noktasını temsil eden bir rastgele değişken . O zaman tehlike oranı:[ 0 , T ]xxx[0,T][0,T][0,T] h(x)=f(x)1−F(x)h(x)=f(x)1−F(x)h(x)=\frac{f(x)}{1-F(x)} Burada …

16 survival  intuition  hazard 

Varyans farkı için F testi neden büyük için bile normal dağılım varsayımına karşı bu kadar hassastır ?NNN Web'de arama yapmaya çalıştım ve kütüphaneyi ziyaret ettim, ancak hiçbiri iyi cevap vermedi. Testin normal dağılım varsayımının ihlali için çok hassas olduğunu söylüyor, ancak nedenini anlamıyorum. Bunun için iyi bir cevabı olan var …

16 normality-assumption  f-test 

Bu yüzden parametresine sahip poisonun toplamının kendisinin ile bir poisson olduğunu biliyoruz . Varsayımsal olarak, kişi ve aslında olduğunu söyleyebilir, burada her : ve CLT'nin çalışması için büyük bir n alın.λ n λ x ∼ p o i s s o n ( λ = 1 ) ∑ n 1 …

16 poisson-distribution  central-limit-theorem  asymptotics 

(Başlangıçta MSE'de yayınlanmıştır .) Klasik merkezi limit teoreminin pek çok sezgisel tartışmasının, normal dağılımdan (veya kararlı dağılımlardan herhangi birinden) olasılık yoğunlukları alanında bir "cazibe" olarak bahsettiğini gördüm. Örneğin, Wikipedia'nın tedavisinin en üstünde şu cümleleri düşünün : Daha genel kullanımda, merkezi bir sınır teoremi olasılık teorisindeki bir dizi zayıf yakınsaklık teoremlerinden …

16 probability  mathematical-statistics  convergence  central-limit-theorem  convolution