Kuantilleri dinamik olarak izlemek için algoritma

Bazı verilerin miktarını tahmin etmek istiyorum. Veriler o kadar büyüktür ki bellekte barındırılamazlar. Ve veriler statik değildir, yeni veriler gelmeye devam eder. Çok sınırlı bellek ve hesaplama ile şu ana kadar gözlemlenen verilerin miktarlarını izlemek için herhangi bir algoritma bilen var mı? P2 algoritmasını yararlı buluyorum , ancak aşırı derecede kuyruklu dağıtılmış verilerim için çok iyi çalışmıyor.

P2 algoritması güzel bir keşif. Kuantiliğin birkaç tahminini yaparak, periyodik olarak güncelleyerek ve kuvantili tahmin etmek için ikinci dereceden (doğrusal değil, kübik değil) enterpolasyon kullanarak çalışır. Yazarlar ikinci dereceden enterpolasyonun kuyruklarda doğrusal enterpolasyondan daha iyi sonuç verdiğini ve kübiklerin çok telaşlı ve zor olacağını iddia ediyorlar.

Bu yaklaşımın "ağır kuyruklu" verileriniz için tam olarak nasıl başarısız olduğunu belirtmezsiniz, ancak tahmin edilmesi kolaydır: ağır kuyruklu dağıtımlar için aşırı miktar tahminleri, büyük miktarda veri toplanana kadar kararsız olacaktır. Ancak tüm verileri saklasanız bile bu bir problem olacak (daha az ölçüde), bu yüzden mucizeler beklemeyin!

Her halükarda, neden yardımcı belirteçleri ayarlamıyorsunuz - onlara ve x 6 diyelim - kuantillerin yatacağı konusunda kesinlikle eminiz ve x 0 ile x 6 arasında kalan tüm verileri saklayalım ? Tamponunuz dolduğunda, bu işaretleri daima güncellemelisiniz, daima x 0 ≤ x 6 tutunuz . Bunu yapmak için basit bir algoritma, (a) miktarın mevcut P2 tahmini ve (b) x 0'dan küçük veri sayısının ve x 6'dan büyük veri sayısının depolanan sayılarının bir kombinasyonundan oluşturulabilir.$x_0$$x_6$$x_0$$x_6$$x_0 \le x_6$$x_0$$x_6$. Bu şekilde, kesin olarak, tüm veri kümesini her zaman kullanılabilir durumda tuttuğunuz gibi miktarını da tahmin edebilirsiniz, ancak yalnızca nispeten küçük bir tampon belleğe ihtiyacınız vardır.

Spesifik olarak, bir veri yapısı teklif am bir dizi ilgili kısmi bilgiler sağlamak için , n veri değerleri X 1 , x 2 , ... , x , n . Burada, y bağlantılı bir listedir$(k, \mathbf{y}, n)$$n$$x_1, x_2, \ldots, x_n$$\mathbf{y}$

Bu gösterimde O anlamına gelir i inci küçük n x değerleri kadar okuyun. m sabittir, tamponun boyutu y .$x^{(n)}_{[i]}$$i^\text{th}$$n$ $x$$m$$\mathbf{y}$

Algoritma, , karşılaşılan ilk m veri değerleriyle doldurularak ve bunları en küçükten en büyüğe doğru sıralanmış sırayla yerleştirerek başlar. Q tahmin edilecek nicelik olsun ; örneğin, q = 0.99. X n + 1 okunması üzerine üç olası eylem vardır:$\mathbf{y}$$m$$q$$q$$x_{n+1}$

• Eğer , k değerini artırın .$x_{n+1} \lt x^{(n)}_{[k+1]}$$k$

• Eğer ise hiçbir şey yapmayın.$x_{n+1} \gt x^{(n)}_{[k+m]}$

• Aksi takdirde, sokma içine y .$x_{n+1}$$\mathbf{y}$

Herhangi bir durumda, bu artış .$n$

Sokma prosedürü koyar içine y sıralanmış sırayla ve aşırı değerlerinden biri ortadan kaldırır y :$x_{n+1}$$\mathbf{y}$$\mathbf{y}$

• Eğer , x ( n ) [ k + 1 ] 'i y'den kaldırın ve k değerini artırın ;$k + m/2 \lt n q$$x^{(n)}_{[k+1]}$$\mathbf{y}$$k$

• Aksi takdirde, ' yi y'den kaldırın .$x^{(n)}_{[k+m]}$$\mathbf{y}$

Sunulmuştur yeterince büyük, bu prosedür yüksek olasılıkla dağılım gerçek quantile ayraç. Herhangi bir aşamasında , n o açısından bilinen şekilde tahmin edilebilir x ( n ), [ ⌊ q n ⌋ ] ve x ( n ) [ ⌈ q n ⌉ ] olası uzanacaktır, y . ( M'nin yalnızca maksimum veri miktarının karekökü gibi ölçeklenmesi gerektiğine inanıyorum ( $m$$n$$x^{(n)}_{[\lfloor{q n}\rfloor]}$$x^{(n)}_{[\lceil{q n}\rceil]}$$\mathbf{y}$$m$$N$), Ancak kanıtlamak için sıkı bir analiz gerçekleştirilmiştir değil.) Herhangi bir oranda, algoritma karşılaştırarak (başarılı olup olmadığının tespit edecektir ve ( k + m ) / n için q ).$k/n$$(k+m)/n$$q$

M = 2 √ kullanarak 100.000 değere kadar test veq=.5(en zor durumda) bu algoritma doğru değerini elde etmek için bir% 99.5 başarı oranına sahip olduğunu gösterir x ( n ) [ ⌊ q n ⌋ ] . Bir akışı için, N=10 12 değerleri, yani, (daha iyi bir seçim olacaktır ama üç ya da dört milyon), sadece iki milyon tampon gerektirir. Arabellek için sıralı olarak bağlantılı bir liste kullanmakOgerektirir(log($m = 2\sqrt{N}$$q=.5$$x^{(n)}_{[\lfloor{q n}\rfloor]}$$N=10^{12}$=O(log(N))eforu belirlerken ve silerken maksimum veya minO(1)işlemleridir. Nispeten pahalı yerleştirme tipik olarak sadeceO( √) yapılmalıdır.$O(\log(\sqrt{N}))$$O(\log(N))$$O(1)$kere. Dolayısıyla bu algoritmanın hesaplama maliyetleriO(N+$O(\sqrt{N})$veO($O(N + \sqrt{N} \log(N)) = O(N)$depoda.$O(\sqrt{N})$

Bence Whuber'in önerisi harika ve önce bunu denerdim. Ancak, gerçekten bulursanız, depolama veya başka bir nedenden dolayı işe yaramazsa, burada P2'nin farklı bir genellemesi için bir fikir. Whuber'un önerdiği kadar ayrıntılı değil - daha çok çözüm yerine bir araştırma fikri gibi.$O(\sqrt N)$

Orijinal P2 algoritmasının önerdiği gibi , nicelikleri , p / 2 , p , ( 1 + p ) / 2 ve 1'de izlemek yerine, daha fazla niceliği (ancak yine de sabit bir sayıyı) tutabilirsiniz. Algoritma buna çok basit bir şekilde izin veriyor gibi gözüküyor; Yapmanız gereken tek şey, gelen noktalar için doğru "kepçe" yi ve miktarları güncellemenin doğru yolunu hesaplamaktır (bitişik sayıları kullanarak dörtlü olarak).$0$$p/2$$p$$(1+p)/2$$1$

puan takip ettiğinizi söyleyin . En quantile izleme deneyebilirsiniz 0 , p / 12 , ... , p ⋅ 11 / 12 , s , p + ( 1 - p ) / 12 , ... , p + 11 ⋅ ( 1 - p ) / 12 , 1 (toplama eşit uzaklıkta arasında puan 0 ve p ve aralarında $25$$0$$p/12$$\dotsc$$p \cdot 11/12$$p$$p + (1-p)/12$$\dotsc$$p + 11\cdot(1-p)/12$$1$$0$$p$$p$ve ), ya da hatta kullanılarak 22 Chebyshev düğümleri formunun p / 2 ⋅ ( 1 + cos ( 2 I - 1 ) $1$$22$ vep+(1-p)/2⋅(1+cos(2i-1)$p/2 \cdot (1 + \cos \frac{(2 i - 1)\pi}{22})$. Eğerp,0veya1'eyakınsa, daha az olasılık kütlesi olan ve diğer tarafa daha fazla olan taraflara daha az nokta koymayı deneyebilirsiniz.$p + (1 - p)/2 \cdot (1 + \cos \frac{(2i-1)\pi}{22})$$p$$0$$1$

Bunu sürdürmeye karar verirseniz, ben (ve muhtemelen bu sitedeki diğerleri) çalışıp çalışmadığını bilmek isterim ...

Press ve diğerleri, Sayısal Tarifler 8.5.2 "Keyfi kuantillerin tek geçişli tahmini" s. 435, parça parça doğrusal yaklaşık bir cdf'yi güncelleyen bir c ++ sınıfı IQAgent verir.

Bu, çevrimiçi bir veri kümesinin ortancasını belirleyen algoritmalardan uyarlanabilir. Daha fazla bilgi için, bu yığın akışına bakın - /programming/1387497/find-median-value-from-a-growing-set

Kuantil regresyona bakardım. Bakmak istediğiniz miktarın parametrik bir tahminini belirlemek için kullanabilirsiniz. Normallik ile ilgili bir varsayımda bulunmaz, bu yüzden heteroskedastisiteyi oldukça iyi idare eder ve bunlara yuvarlanan bir pencere olarak kullanılabilir. Temel olarak bir L1-Norm cezalandırılmış regresyondur, bu yüzden sayısal olarak yoğun değildir ve oldukça iyi özelliklere sahip bir R, SAS ve SPSS paketleri ile birlikte birkaç matlab uygulaması vardır. İşte ana ve R paketi daha fazla bilgi için wiki'leri.

Düzenlendi:

Matematik yığını değişimi çapraz bağlantıya göz atın: Birisi, miktarları tahmin etmek için sadece basit bir sıralı istatistik istatistiği penceresini kullanma fikrini ortaya koyan bir kaç kağıda oturmuş. Kelimenin tam anlamıyla yapmanız gereken, değerleri en küçüğünden en büyüğüne göre sıralamak, istediğiniz niceliği seçmek ve bu nicelik içindeki en yüksek değeri seçmektir. Gerçek güncel koşulları daha iyi temsil ettiklerini düşünüyorsanız, en son gözlemlere daha fazla ağırlık verebilirsiniz. Bu muhtemelen zorlu tahminler verecek, ancak yapılması oldukça basit ve nicel ağır kaldırma hareketlerinden geçmek zorunda değilsiniz. Sadece bir düşünce.

Maddeleri çevrimiçi olarak tahmin etmek (ve izlemek) mümkündür (aynısı kuantil regresyon parametreleri için de geçerlidir). Temel olarak, bu, kuantil regresyonu tanımlayan kontrol kaybı fonksiyonunda (sadece bir kesişme içeren bir model tarafından temsil edilen kuantiller), örn. Gözlemlerin geldiği zaman ve olduğu zaman güncellenmesi gibi stokastik gradyan inişine kadar kaymaktadır.

Bell Laboratuarları makalesine bakın "Masif İzleme için Artan Miktarsal Tahmin" ( ftp://ftp.cse.buffalo.edu/users/azhang/disc/disc01/cd1/out/papers/kdd/p516-chen.pdf )

Diğer bir önemli algoritma ise M. Greenwald ve S. Khanna 2004 - Kuantil özetlerin uzay-verimli çevrimiçi hesaplanması.