İstatistikler ve Büyük Veri

Ormansızlaşma için genelleştirilmiş katkı modelleri ürettim. Mekansal-otokorelasyonu açıklamak için, enlem ve boylamı düzleştirilmiş, etkileşimli bir terim olarak ekledim (örn. S (x, y)). Bunu, yazarların 'uzamsal otokorelasyonu hesaba katan, noktaların koordinatlarını düzleştirilmiş terimler olarak dahil ettiklerini' söylediği birçok makaleyi okudum. Bu oldukça sinir bozucu. Bir cevap bulma umuduyla GAM'lerde bulabildiğim tüm …

60 r  modeling  spatial  autocorrelation  gam 

Önemli bir sonuç (örneğin, ) elde edilinceye (örneğin, p-hack) neden Tip I hata oranını kadar neden veri topladığımı merak ediyordum.p<.05p<.05p \lt .05 RBu fenomenin bir gösterimini de çok takdir ediyorum .

60 r  hypothesis-testing  p-value  simulation  type-i-and-ii-errors 

Diğer bağlamlarda, ortogonal "dik açılarda" veya "dik" anlamına gelir. Ortogonal istatistiksel bağlamda ne anlama geliyor? Herhangi bir açıklama için teşekkür ederiz.

60 descriptive-statistics 

Bildiğim kadarıyla değişken seçimi için Kement kullanımı, korelasyonlu girdiler sorununu ele alıyor. Ayrıca, En Az Açı Regresyonu ile eşdeğer olduğundan, hesaplamalı olarak yavaş değildir. Bununla birlikte, birçok insan (örneğin biyo-istatistik yapmayı bildiğim insanlar) hala adım adım veya stagewise değişken seçimini desteklemektedir. Kementin elverişsiz kılan kullanımının herhangi bir pratik dezavantajı var …

60 regression  feature-selection  lasso 

ANOVA'nın ne olduğunu görsel olarak açıklamanın yolu nedir? Herhangi bir referans, link (ler) (R paketleri?) Kabul edilecektir.

60 data-visualization  anova  teaching 

Tahmin edici bir model inşa eden birisine sahip olduğumuzu varsayalım, ancak birinin uygun istatistiksel ya da makine öğrenmesi ilkeleri konusunda tam olarak bilgili olmadığını varsayalım. Belki o kişiye öğrenirken yardımcı oluyoruz veya belki de bu kişi kullanımı en az bilgiyi gerektiren bir çeşit yazılım paketi kullanıyor. Şimdi bu kişi, gerçek …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

Kümeleme algoritmasından önce (k-aracı gibi) PCA'yı (temel bileşen analizi) uygulamak yaygın bir uygulamadır. Uygulamada kümelenme sonuçlarını iyileştirdiğine inanılmaktadır (gürültü azaltma). Bununla birlikte, PCA ile k-aracı arasındaki ilişkinin karşılaştırmalı ve derinlemesine çalışılmasıyla ilgileniyorum. Örneğin, Chris Ding ve Xiaofeng He, 2004, K-anlamına gelir Ana Bileşen Analizi ile Kümeleme , "temel bileşenlerin K-aracı …

60 clustering  pca  k-means 

Yaptıkları yirmi toplam testten bir kez, olduğunu görüyorum , bu yüzden yanlış yirmi testten birinde sonucun anlamlı olduğunu varsayıyorlar ( ).0.05 = 1 / 20p &lt; 0.05p&lt;0.05p < 0.050.05 = 1 / 200.05=1/200.05 = 1/20 xkcd jelly bean comic - "Önemli" Başlık: Önemli Gezinme metni: "'Evet, yeşil çalışmayı tekrar yaptık …

60 hypothesis-testing  statistical-significance  confidence-interval  p-value  humor 

Ridge regresyon tahmininin, kalan kare miktarını ve büyüklüğünde bir cezayı en aza indiren olduğunu anlıyorumββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Bununla birlikte, βridgeβridge\beta_\text{ridge} 'in \ beta_ \ text {OLS}' dan farklı olduğunu, X 'X'in köşegenineβOLSβOLS\beta_\text{OLS} sadece küçük bir sabit ekleyerek anlamını tam olarak …

59 regression  least-squares  ridge-regression  shrinkage 

Degrade iniş ve diğer birçok yöntem, maliyet fonksiyonlarında yerel minima bulmak için kullanışlıdır. Maliyet fonksiyonu, her noktada, sayısal veya analitik olarak hızlı bir şekilde değerlendirilebildiği zaman verimli olabilirler. Sıradışı bir durum olarak bana görünen neye sahibim. Maliyet fonksiyonumun her değerlendirmesi pahalıdır. Zemin yüzeyine karşı 3B yüzeyi en aza indiren bir …

59 gradient-descent  optimization  bayesian-optimization 

Aşağıdaki alıntı girişten, Tek kuyruklu ve iki kuyruklu testler arasındaki farklar nelerdir? , UCLA'nın istatistik yardım sitesinde. ... diğer yönde bir etkinin kaybolmasının sonuçlarını düşünün. Mevcut bir ilaca göre bir iyileşme olduğuna inandığınız yeni bir ilaç geliştirdiğinizi düşünün. Gelişimi tespit etme yeteneğinizi en üst düzeye çıkarmak istersiniz, bu nedenle tek …

59 hypothesis-testing  statistical-significance  inference 

Boş hipotez anlamlılık testinin temel bir sınırlaması, bir araştırmacının boş lehine delil toplamasına izin vermemesidir ( Kaynak ). Bu iddianın birçok yerde tekrarlandığını görüyorum, ancak bunun için gerekçe bulamıyorum. Biz büyük bir çalışma gerçekleştirmek ve biz ise sıfır hipotezinin karşı istatistiksel olarak anlamlı bir kanıt bulmuyorum , o kanıt değildir …

59 hypothesis-testing 

İstatistik dünyası, sık kullanılanlar ve Bayesanlar arasında bölündü. Bugünlerde herkes ikisini de yapıyor gibi görünüyor. Bu nasıl olabilir? Farklı yaklaşımlar farklı problemler için uygunsa, neden istatistiğin kurucuları bunu görmedi? Alternatif olarak, tartışma Frequentists tarafından kazanıldı mı ve gerçek öznel Bayesanlar karar teorisine geçti mi?

59 bayesian  frequentist  history  philosophical 

ZCA beyazlatma ve normal beyazlatma konusunda kafam karıştı (temel bileşenler PCA özdeğerlerinin kareköklerine bölünerek elde edildi). Bildiğim kadarıyla, xZCAwhite=UxPCAwhite,xZCAwhite=UxPCAwhite,\mathbf x_\mathrm{ZCAwhite} = \mathbf U \mathbf x_\mathrm{PCAwhite}, burada PCA özvektörleridir.UU\mathbf U ZCA beyazlamasının kullanım alanları nelerdir? Normal beyazlatma ve ZCA beyazlatma arasındaki farklar nelerdir?

59 pca  dimensionality-reduction  image-processing 

Fisher bilgisi, ne ölçtüğü ve nasıl yardımcı olduğu konusunda rahat değilim. Ayrıca Cramer-Rao ile olan ilişkisi benim için belli değil. Birisi lütfen bu kavramların sezgisel bir açıklamasını verebilir mi?

59 estimation  intuition  fisher-information