O (1) güncelleme verimliliği ile sağlam ortalama tahmini

Belirli bir özelliğe sahip ortalamanın sağlam bir tahminini arıyorum. Bu istatistiği hesaplamak istediğim bir dizi unsurum var. Sonra, her seferinde bir tane yeni eleman ekliyorum ve her ek eleman için istatistiği (çevrimiçi algoritma olarak da bilinir) yeniden hesaplamak istiyorum. Bu güncelleme hesaplamasının hızlı olmasını, tercihen O (1), yani listenin boyutuna bağlı olmamasını istiyorum.

Her zamanki ortalama, verimli bir şekilde güncellenebilen ancak aykırı değerlere karşı sağlam olmayan bu özelliğe sahiptir. Çeyrekler arası ortalama ve kesilmiş ortalama gibi ortalamanın tipik sağlam tahmin edicileri verimli bir şekilde güncellenemez (çünkü sıralı bir listenin bakımını gerektirirler).

Verimli bir şekilde hesaplanabilen / güncellenebilen sağlam istatistikler için herhangi bir öneriyi takdir ediyorum.

Bu çözüm, @Innuo tarafından soruna bir yorumda yapılan bir öneri uygular:

Şimdiye kadar görülen tüm verilerden 100 veya 1000 büyüklüğünde düzgün örneklenmiş rastgele bir altküme tutabilirsiniz. Bu set ve ilişkili "çitler" zamanda güncellenebilir .$O(1)$

Bu altkümeyi nasıl koruyacağımızı öğrendikten sonra , böyle bir örnekten popülasyon ortalamasını tahmin etmek istediğimiz herhangi bir yöntemi seçebiliriz . Bu, herhangi bir giriş akışı ile standart istatistik örnekleme formülleri kullanılarak tahmin edilebilecek bir doğrulukta çalışacak varsayımlarda bulunmayan evrensel bir yöntemdir . (Doğruluk, numune boyutunun kare kökü ile ters orantılıdır.)

Bu algoritma, girdi olarak bir veri akışı kabul bir numune boyutu ve numunelerin bir akım üretir her biri popülasyonu temsil etmektedir . Özellikle, , den boyutunda basit bir rastgele örnektir (değiştirmeden).$x(t),$ $t=1, 2, \ldots,$$m$$s(t)$$X(t) = (x(1),x(2), \ldots, x(t))$$1\le i \le t$$s(i)$$m$$X(t)$

Bunun gerçekleşmesi için, bu her yeterli -eleman alt kümesi, bir indekslerini olma şansı eşit de . Bu, cinsinden olma olasılığının, sağlanan eşit olduğu anlamına gelir .$m$$\{1,2,\ldots,t\}$$x$$s(t)$$x(i),$ $1\le i\lt t,$$s(t)$$m/t$$t \ge m$

Başlangıçta sadece öğeleri saklanana kadar akışı topluyoruz . Bu noktada sadece bir olası örnek vardır, bu nedenle olasılık koşulu önemsiz bir şekilde karşılanır.$m$

olduğunda algoritma devreye girer . Endüktif olarak, nin için basit bir rastgele örneği olduğunu varsayalım . Geçici olarak . Let (oluşturmak için kullanılan herhangi bir önceki değişkenlerin bağımsız tek tip bir rastgele değişken olarak ). Eğer daha sonra bir rastgele seçilmiş elemanının yerine göre . Tüm prosedür bu!$t=m+1$$s(t)$$X(t)$$t\gt m$$s(t+1) = s(t)$$U(t+1)$$s(t)$$U(t+1) \le m/(t+1)$$s$$x(t+1)$

Açıkça , cinsinden olma ihtimaline sahiptir . Ayrıca, indüksiyon hipotezi ile, olasılığı vardı olma . Olasılığı ile = bu kaldırılmış olur , geriye kalan eşittir nereden olasılık$x(t+1)$$m/(t+1)$$s(t+1)$$x(i)$$m/t$$s(t)$$i\le t$$m/(t+1) \times 1/m$$1/(t+1)$$s(t+1)$

tam olarak gerektiği gibi. İndüksiyonla, o zaman, tüm dahil olma olasılıkları$x(i)$ içinde $s(t)$doğrudur ve bu inklüzyonlar arasında özel bir korelasyon olmadığı açıktır. Bu algoritmanın doğru olduğunu kanıtlar.

Algoritma verimliliği $O(1)$ çünkü her aşamada en fazla iki rasgele sayı hesaplanır ve $m$değerleri değiştirilir. Depolama gereksinimi$O(m)$.

Bu algoritmanın veri yapısı örnekten oluşur $s$ endeks ile birlikte $t$ nüfusun $X(t)$örnekler. Başlangıçta$s = X(m)$ ve şu algoritma ile devam edin: $t=m+1, m+2, \ldots.$ İşte Rgüncellenecek bir uygulama$(s,t)$ değeri olan $x$ üretmek için $(s,t+1)$. (Argüman nşu rolü oynar:$t$ve sample.sizeolduğu$m$. İçerik$t$ arayan tarafından korunur.)

update <- function(s, x, n, sample.size) {
  if (length(s) < sample.size) {
    s <- c(s, x)
  } else if (runif(1) <= sample.size / n) {
    i <- sample.int(length(s), 1)
    s[i] <- x
  }
  return (s)
}

Bunu göstermek ve test etmek için, ortalamanın olağan (sağlam olmayan) tahmincisini kullanacağım ve ortalamayı $s(t)$ gerçek anlamıyla $X(t)$(her adımda görülen toplam veri kümesi). Oldukça düzgün değişen ancak periyodik olarak dramatik sıçramalara giren biraz zor bir giriş akışı seçtim. Örnek boyutu$m=50$ bu arazilerdeki örnekleme dalgalanmalarını görmemizi sağlayan oldukça küçüktür.

n <- 10^3
x <- sapply(1:(7*n), function(t) cos(pi*t/n) + 2*floor((1+t)/n))
n.sample <- 50
s <- x[1:(n.sample-1)]
online <- sapply(n.sample:length(x), function(i) {
  s <<- update(s, x[i], i, n.sample)
  summary(s)})
actual <- sapply(n.sample:length(x), function(i) summary(x[1:i]))

Bu noktada online, bu çalışan numuneyi koruyarak üretilen ortalama tahminlerin sırasıdır.$50$değerleri her an mevcut olan tüm verilerden actualüretilen ortalama tahmin dizisidir . Grafik, bu örnekleme prosedürünün ( gri renkte) verilerini (gri), (siyah) ve iki bağımsız uygulamasını gösterir. Anlaşma beklenen örnekleme hatası dahilinde:actual

plot(x, pch=".", col="Gray")
lines(1:dim(actual)[2], actual["Mean", ])
lines(1:dim(online)[2], online["Mean", ], col="Red")

Ortalamanın sağlam tahmincileri için lütfen sitemizde arama yapın aykırıve ilgili terimler. Dikkate değer olasılıklar arasında Winsorized araçları ve M-tahmin ediciler bulunmaktadır.

Sorununuzu özyinelemeli kontrol çizelgesiyle ilişkilendirmeyi düşünebilirsiniz. Böyle bir kontrol çizelgesi yeni bir gözlemin kontrol altında olup olmadığını değerlendirecektir. Öyleyse, bu gözlem, ortalama ve varyansın yeni tahminine dahil edilir (kontrol sınırlarını belirlemek için gereklidir).

Sağlam, özyinelemeli, tek değişkenli kontrol grafikleriyle ilgili bazı bilgiler burada bulunabilir . Kalite kontrol ve kontrol grafiklerine ilişkin klasik metinlerden birinin burada çevrimiçi olduğu görülmektedir .

Sezgisel olarak, bir ortalama kullanarak, $\mu_{t-1}$ ve bir varyans $\sigma^2_{t-1}$ girdi olarak, yeni bir gözlemin zamanında olup olmadığını belirleyebilirsiniz. $t$bir takım yaklaşımlarla aykırıdır. Biri beyan etmek olurdu$x_t$ belirli sayıda standart sapmaların dışındaysa bir aykırı değer $\mu_{t-1}$ (verilen $\sigma^2_{t-1})$, ancak veriler belirli dağıtım varsayımlarına uymuyorsa bu sorunla karşılaşabilir. Bu yola gitmek istiyorsanız, yeni bir noktanın aykırı olup olmadığını belirlediğinizi varsayalım ve özel bir unutma oranı olmadan ortalama tahmininize dahil etmek istediğinizi varsayalım. O zaman bundan daha iyisini yapamazsınız:

$\mu_t = \frac{t-1}{t}\mu_{t-1}+\frac{1}{t}x_t$

Benzer şekilde, varyansı tekrar tekrar güncellemeniz gerekir:

$\sigma^2_t = \frac{t-1}{t}\sigma^2_{t-1}+\frac{1}{t-1}(x_t-\mu_t)^2$

Bununla birlikte, bazı geleneksel kontrol grafiklerini denemek isteyebilirsiniz. Verilerin dağıtımına daha dayanıklı olan ve hala durağan olmayanları işleyebilen diğer kontrol çizelgeleri ($\mu$EWMA veya CUSUM önerilir (çizelgeler ve kontrol limitleri hakkında daha fazla bilgi için yukarıdaki bağlantılı ders kitabına bakın). Bu yöntemler tipik olarak sağlam olandan daha az hesaplama açısından daha az yoğun olacaktır, çünkü tek bir yeni gözlemin, aykırı olmayan gözlemlerden elde edilen bilgilerle karşılaştırılması gerekliliğine sahiptirler. Uzun vadeli süreçle ilgili tahminlerinizi hassaslaştırabilirsiniz$\mu$ ve $\sigma^2$ İsterseniz yukarıda verilen güncelleme formülleri ile bu yöntemlerin kontrol limiti hesaplamalarında kullanılır.

Eski gözlemleri unutup yenilerine daha fazla ağırlık veren EWMA gibi bir grafikle ilgili olarak, verilerinizin durağan olduğunu düşünüyorsanız (üretim dağılımı parametrelerinin değişmediği), eski gözlemleri katlanarak unutmanıza gerek yoktur. Unutma faktörünü buna göre ayarlayabilirsiniz. Bununla birlikte, bunun durağanlık olmadığını düşünüyorsanız, unutma faktörü için iyi bir değer seçmeniz gerekecektir (bunu yapmanın bir yolu için yine ders kitabına bakın).

Ayrıca, çevrimiçi olarak yeni gözlemler izlemeye ve eklemeye başlamadan önce, $\mu_0$ ve $\sigma^2_0$(egzersiz veri kümesine dayalı başlangıç ​​parametre değerleri) aykırı değerlerden etkilenmez. Egzersiz verilerinizde aykırı değerlerden şüpheleniyorsanız, bunları tahmin etmek için tek seferlik sağlam bir yöntem kullanmanın maliyetini ödeyebilirsiniz.

Bu çizgiler boyunca bir yaklaşım sorununuzu en hızlı şekilde güncelleyeceğini düşünüyorum.