İstatistikler ve Büyük Veri

Belirli bir zaman serisi dengelendiğinde test için standart (veya en iyi) bir yöntem var mı? Biraz motivasyon Bir değer veren stokastik bir dinamik sistemim var xtxtx_t her seferinde t ∈ Nt∈Nt \in \mathbb{N}. Bu sistem zaman adımına kadar bazı geçici davranışlara sahiptirt*t∗t^* ve sonra ortalama bir değer etrafında stabilize olur …

9 time-series  machine-learning 

Hiyerarşik Bayesci modelleme için rasgele değişkenlerin değiştirilebilirliği neden önemlidir?

9 bayesian  multilevel-analysis  exchangeability 

olarak eşleştirilmiş gözlemlerim olduğunu varsayalım için . Let ile ve göstermektedirler inci gözlenen en büyük değeri . ın (koşullu) dağılımı nedir? (ya da eşit şekilde, bunun )Xi∼N(0,σ2x),Yi∼N(0,σ2y),Xi∼N(0,σx2),Yi∼N(0,σy2),X_i \sim \mathcal{N}\left(0,\sigma_x^2\right), Y_i \sim \mathcal{N}\left(0,\sigma_y^2\right),i=1,2,…,ni=1,2,…,ni=1,2,\ldots,nZi=Xi+Yi,Zi=Xi+Yi,Z_i = X_i + Y_i,ZijZijZ_{i_j}jjjZZZXijXijX_{i_j}YijYijY_{i_j} Olduğunu, dağılımı nedir şartına olmanın inci en büyük gözlemlenen değerlere ?XiXiX_iZiZiZ_ijjjnnnZZZ Ben tahmin ediyorum …

9 distributions  order-statistics  shrinkage 

Bu oldukça genel bir sorudur (yani istatistiklere özgü olması gerekmez), ancak yazarların aşağıdaki yaklaşımı izlemeyi tercih ettiği makine öğrenimi ve istatistiksel literatürde bir eğilim fark ettim: Yaklaşım 1 : Küresel olarak optimal bir çözüm bulmanın mümkün olduğu bir maliyet fonksiyonunu formüle ederek (örn. Dışbükey bir maliyet fonksiyonunu formüle ederek) pratik …

9 optimization  function 

Lojistik regresyon bağlamında özellik seçimi için permütasyon analizi konusunda kafam karıştı. Rastgele permütasyon testinin net bir açıklamasını verebilir misiniz ve özellik seçimi için nasıl uygulanır? Muhtemelen tam algoritma ve örneklerle. Son olarak, Kement veya LAR gibi diğer büzülme yöntemleriyle nasıl karşılaştırılır?

9 regression  logistic  feature-selection  permutation-test  shrinkage 

Verilerin yapısını daha iyi anlamak için 6 boyutlu bir veri matrisinin hem SVD ayrışmasını hem de çok boyutlu ölçeklendirmesini yaptım. Ne yazık ki, tüm tekil değerler aynı sıraya sahiptir, bu da verilerin boyutsallığının gerçekten 6 olduğunu gösterir. Ancak, tekil vektörlerin değerlerini yorumlayabilmek istiyorum. Örneğin, birincisi her boyutta (yani (1,1,1,1,1,1)) az …

9 pca  interpretation  dimensionality-reduction  svd 

Gördüğüm çoğu kümeleme algoritması, daha büyük veri kümelerinde sorunlu hale gelen tüm noktalar arasında bire bir mesafeler oluşturmakla başlar. Bunu yapmayan var mı? Yoksa bir çeşit kısmi / yaklaşık / kademeli yaklaşımda mı? Hangi kümeleme algoritması / uygulaması O (n ^ 2) alanından daha az yer kaplıyor? Algoritmaların bir listesi …

9 clustering  algorithms  large-data 

Wiki'ye göre en yaygın kullanılan yakınsama kriteri “değerlendirme değişmemiştir”. Böyle bir yakınsama kriteri kullanırsak bisikletin olup olmayacağını merak ediyordum. Birisi bisiklete binme örneği veren veya bunun imkansız olduğunu kanıtlayan bir makaleye atıfta bulunursa memnun olurum.

9 clustering  algorithms  k-means 

Bir dizi anormallik skoru ile çalışıyorum (arka plan bilgisayar ağlarında anomali tespitidir). Her dakika, ağın mevcut durumunun "beklenmedik" veya anormal olduğunu söyleyen anomali puanı . Puan ne kadar yüksek olursa, mevcut durum o kadar anormal olur. 5'e yakın puanlar teorik olarak mümkündür ancak neredeyse hiç gerçekleşmez.xt∈ [ 0 , 5 …

9 time-series  outliers  threshold 

Lojistik Regresyon kullanarak Diyabet Tahminini modelleniyorum. Kullanılan veri kümesi Hastalık Kontrol Merkezi'nin (CDC) Davranışsal Risk Faktörü Gözetim Sistemi'dir (BRFSS ). Bağımsız değişkenlerden biri de Yüksek Tansiyon. Aşağıdaki seviyelerde kategoriktir: 'Evet', 'Hayır', 'Bilmiyorum / Reddedildi'. Modeli oluştururken 'Bilmiyorum / Reddedildi' satırlarını kaldırmalı mıyım? Bu satırları modelden korumak veya kaldırmak için ne …

9 logistic  missing-data 

Verilerime iki genelleştirilmiş tahmin denklemi (GEE) modeli taktım: 1) Model 1: Sonuç uzunlamasına Evet / Hayır değişken (A) (yıl 1,2,3,4,5) uzunlamasına sürekli öngörücü (B) 1,2,3,4,5 yıldır. 2) Model 2: Sonuç aynı uzunlamasına Evet / Hayır değişkeni (A), ancak şimdi tahmin edicim 1. yıl değerine sabitlenmiş yani zamanla değişmez (B) olmaya …

9 logistic  gee 

Veri setim, toplam organizma ölümünü veya bir organizmanın kıyı, orta kanal ve açık deniz olmak üzere üç yer tipinde hayatta kalmasını içeriyor. Aşağıdaki tablodaki sayılar site sayısını temsil eder. 100% Mortality 100% Survival Inshore 30 31 Midchannel 10 20 Offshore 1 10 % 100 mortalitenin meydana geldiği site sayısının site …

9 logistic  multiple-comparisons  chi-squared  r  text-mining  clustering  classification  feature-selection  unsupervised-learning  time-series  references  mode  hypothesis-testing  confidence-interval  bootstrap  normal-distribution  order-statistics  correlation  statistical-significance  spss  bayesian  beta-binomial 

ARMA / ARIMA modellerinin iyi çalışmadığı son derece doğrusal olmayan verilere bakıyorum. Yine de, bazı otokorelasyon görüyorum ve doğrusal olmayan otokorelasyon için daha iyi sonuçlar elde ettiğinden şüpheleniyorum. 1 / Rütbe korelasyonu için PACF'ye eşdeğer mi? (R? cinsinden) 2 / doğrusal olmayan / sıralama korelasyonu için bir eşdeğer ARMA modeli …

9 r  correlation  nonparametric  garch  arma 

Bağlam: İki yıl boyunca aynı anketten iki veri setim var. Her soru 5 likert ölçeği kullanılarak ölçülür. S1: Kodlama şeması Şu anda yanıtlarımı [0, 1] aralığında kodladım, 0 "en olumsuz yanıt", 1 "en olumlu yanıt" ve diğer yanıtlar arasında eşit aralıklarla kodladım. Likert ölçeği için kullanılacak "en iyi" kodlama şeması …

9 statistical-significance  likert 

Matris notasyonunu anlamaya çalışıyorum ve vektörler ve matrislerle çalışıyorum. Şu anda çoklu regresyonda katsayı tahmin vektörünün nasıl hesaplandığını anlamak istiyorum .β^β^\hat{\beta} Temel denklem ddβ(y−Xβ)′(y−Xβ)=0.ddβ(y−Xβ)′(y−Xβ)=0. \frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>. Şimdi burada bir vektör \ beta için nasıl çözerimββ\beta ? Düzenleme : Bekleyin, sıkıştım. Şimdi buradayım ve nasıl devam edeceğimi bilmiyorum: …

9 regression