İstatistikler ve Büyük Veri

Izin vermek bir maksimum bir gerçek parametrenin maksimum olasılık tahmini olabilir bazı model. Veri noktası sayısı arttıkça, genellikle O (1 / \ sqrt n) olarak azalır . Üçgen eşitsizliğini ve beklentinin özelliklerini kullanarak, bu hata oranının hem "yanlılık" \ lVert \ mathbb E \ hat \ theta - \ theta …

14 variance  estimation  maximum-likelihood  bias 

Eğer ve vardır bunu nasıl gösterebileceklerini sadece iki olası durumları alabilir iki rasgele değişkenler, bağımsızlığını ima? Bu tür bağımsızlık anlamına gelmediği gün öğrendiklerime ters düşüyor ...XXXYYYCov(X,Y)=0Cov(X,Y)=0Cov(X,Y) = 0Cov(X,Y)=0Cov(X,Y)=0Cov(X,Y) = 0 İpucu , olası durumlar olarak ve ile başlayıp oradan genelleme söylüyor. Ve bunu yapabilirim ve gösterebilirim , ama bu bağımsızlık …

14 covariance  independence 

Bu biraz bağırsak kontrolü, lütfen bu kavramı yanlış anlayıp anlamadığımı görmem için bana yardım et. İşlevsel bir korelasyon anlayışım var ama bu fonksiyonel anlayışın arkasındaki ilkeleri gerçekten güvenle açıklamak için pipetleri biraz kavramış hissediyorum. Anladığım kadarıyla, istatistiksel korelasyon (terimin daha genel kullanımının aksine), iki sürekli değişkeni ve bunların nasıl yükselme …

14 correlation  categorical-data  covariance 

Rasgele bir efekt olarak kullanmak istediğim değişkenin sadece bazı seviyeler için tek bir gözlemi olduğu bir veri setim var. Önceki soruların cevaplarına dayanarak, prensip olarak, bunun iyi olabileceğini topladım. Sadece 1 gözlemi olan deneklerle karışık bir model takabilir miyim? Rastgele engelleme modeli - konu başına bir ölçüm Ancak, ikinci linkte …

14 r  mixed-model  generalized-linear-model  glmm  lme4-nlme 

Varsayalım: X∼ Beta ( α , β)X∼Beta(α,β)X\sim\mbox{Beta}(\alpha,\beta) Y∼ Φ- 1( X)Y∼Φ−1(X)Y\sim \Phi^{-1}(X) burada , standart normal dağılımın CDF'sinin tersidir .Φ- 1Φ−1\Phi^{-1} Sorum şu: takip ettiği ya da yakın olabileceği basit bir dağılım var mı? YYYYYYY -Y a p a = 1 ; β = 1 X YSimülasyon sonuçlarına (aşağıda gösterilmiştir) …

14 r  normal-distribution  mathematical-statistics  beta-distribution 

Ben 2 rastgele değişken XXX , bir örnek arıyorum YYYki |cor(X,Y)|≈0|cor(X,Y)|≈0\newcommand{\cor}{{\rm cor}}|\cor(X,Y)| \approx 0 fakat dağılımların kuyruk kısmı düşünüldüğünde, yüksek derecede ilişkilidirler. (Kuyruk için 'korelasyonlu' / 'korelasyon'dan kaçınmaya çalışıyorum çünkü doğrusal olmayabilir). Muhtemelen bunu kullanın: |cor(X′,Y′)|≫0|cor(X′,Y′)|≫0|\cor(X', Y')| \gg 0 burada X′X′X' koşullu üzerinde X>90%X>90%X > 90\% arasında XXX nüfusunun ve …

14 correlation  extreme-value 

Görünüşte kolay bir sorunla karşılaştım, ancak birkaç hafta boyunca uygun bir çözüm bulamadım. Çok sayıda anket / anket verilerim var (on binlerce katılımcı, veri seti başına 50 bin), umarım ağırlıklar, tabakalaşma, spesifik yönlendirme vb. Her katılımcı için demografi (yaş, bölge ...) ve daha sonra çoğunlukla ikili (en fazla kategorik) değişkenler …

14 machine-learning  survey-weights  survey-sampling 

Tekrarlayan bir sinir ağında, genellikle birkaç zaman adımında ilerler, ağı "açar" ve daha sonra girdi dizisi boyunca geri yayılırsınız. Neden sadece sekanstaki her bir adımdan sonra ağırlıkları güncellemiyorsunuz? (1 kısaltma uzunluğunun kullanılmasına eşdeğerdir, bu yüzden açılacak bir şey yoktur) Bu, yok olan degrade sorununu tamamen ortadan kaldırır, algoritmayı büyük ölçüde …

14 time-series  neural-networks  backpropagation  rnn 

Palantir'in Çalışma Departmanının onları Asyalılara karşı ayrımcılıkla suçladığı dava hakkındaki bu makaleyi okudum . Herkes bu olasılık tahminlerini nereden aldıklarını biliyor mu? (A) maddesinde 1/741 elde edemiyorum. (a) KG Mühendisi pozisyonu için, yaklaşık% 77'si Asyalı olan 730'dan fazla nitelikli başvuru havuzundan Palantir altı Asya dışı başvuru sahibi ve sadece bir …

14 probability  p-value  contingency-tables  legal 

Üniversitemde bir makine öğrenimi kursu aldım. Sınavlardan birinde bu soru soruldu. Model 1: y=θx+ϵy=θx+ϵ y = \theta x + \epsilon Model 2: y=θx+θ2x+ϵy=θx+θ2x+ϵ y = \theta x + \theta^2 x + \epsilon Yukarıdaki modellerden hangisi verilere daha uygun? (verilerin doğrusal regresyon kullanılarak modellenebileceğini varsayın) Doğru cevap (profesöre göre) her iki …

14 regression  machine-learning  self-study  modeling  model 

En üstteki% 25, ​​en üst çeyrekliktir. En yüksek% 10 en yüksek ondalık sayıdır. En yüksek% 1 en yüksek yüzdelik değerdir. En üstteki% 0,5 için bir eşdeğer var mı, yani 200'ü 1 arada?

14 terminology  quantiles 

Bu sorunun yapısı şöyledir: ilk olarak, topluluk öğrenme kavramını sağlarım , ayrıca örüntü tanıma görevlerinin bir listesini veririm, daha sonra topluluk öğrenme algoritmalarına örnekler veririm ve son olarak sorumu tanıtırım. Tüm ek bilgilere ihtiyaç duymayanlar sadece başlıklara bakabilir ve doğrudan soruma gidebilirler. Topluluk öğrenimi nedir? Wikipedia makalesine göre : İstatistik …

14 machine-learning  neural-networks  pattern-recognition  ensemble  ocr 

Muhtemelen Simpson paradoksu hakkında net bir fikrim yok . Gayri resmi olarak biliyorum ki, her bir A düzeyi (her grup) için Y1 ortalaması olsa bile, tüm olası A faktör seviyeleri üzerinde gruplanan Y1 yanıtı ortalaması, tüm A seviyeleri üzerindeki Y2 yanıtı ortalamasından daha yüksek olabilir. her zaman karşılık gelen Y2 …

14 mathematical-statistics  simpsons-paradox 

un için tarafsız bir tahmin edici olduğu doğru mu? Yani, ρ X , Y, E [ R, X , Y, ] = ρ X , Y, ?RX,YRX,YR_{X,Y}ρX,YρX,Y\rho_{X,Y}E[RX,Y]=ρX,Y?E[RX,Y]=ρX,Y?\mathbf{E}\left[R_{X,Y}\right]=\rho_{X,Y}? Değilse, için tarafsız bir tahminci nedir? (Belki de kullanılan standart bir tarafsız tahminci var mı? Ayrıca, taraflı örnek varyansının basitçe ile çarpılmasını basit …

14 correlation 

Birisi Hamiltonian Monte Carlo yöntemlerinin arkasındaki ana fikri açıklayabilir ve hangi durumlarda Markov Zinciri Monte Carlo yöntemlerinden daha iyi sonuçlar verecektir?

14 bayesian  mcmc  hmc