Büyük zaman serisi verilerini verimli bir şekilde nasıl saklayabilirim?

Çok büyük miktarlarda zaman serisi verilerini sorgulayabilmem ve sorgulayabilmem gerekiyor.

Verilerin özellikleri aşağıdaki gibidir:

• dizi sayısı: yaklaşık 12.000 (on iki bin)
• Dünya genelinde veri noktalarının sayısı: ayda yaklaşık 500.000.000 (beş yüz milyon)
• karma değer türleri: veri noktalarının çoğu kayan nokta değerleri, geri kalan dizeler
• örnekleme süresi: seri içinde olduğu gibi seri içinde de değişken
• zaman damgaları: milisaniye hassasiyetli
• veri saklama süresi: çürüme veya alt örnekleme olmadan birkaç yıl
• veri arşivlerinin neredeyse gerçek zamanlı olarak oluşturulması gerekir, ancak makul bir gecikme (~ 1 saat) kabul edilebilir
• Gerekirse geçmiş veriler yeniden oluşturulabilir, ancak yüksek maliyetle
• bazen, ancak oldukça nadiren, bazı geçmiş verilerin güncellenmesi gerekir

Öngörülen sorguların özellikleri:

• verilere karşı sorguların çoğu zaman damgası tabanlı sorgular olacaktır; bir gün ile birkaç ay / yıl arasında değişmektedir. 90% + en son veri sorguları olacak

Diğer gereklilikler:

• çözelti bedava biradaki gibi serbest olmalıdır ve tercihen açık kaynak olmalıdır

İlk düşüncem, PyTables / Panda'ları HDF5 dosyaları ile bir SQL veritabanı yerine arka uç olarak kullanmaktı.

Sorular:

1. PyTable'ların / Pandaların "en iyi" yol olduğunu varsayarsak , verileri her biri belirli bir zaman dilimine yayılmış birkaç HDF dosyasına bölmek ya da her şeyi daha sonra devasa olacak tek bir dosyaya koymak daha iyi olur mu?

2. Gidip sabit formatı mı yoksa tablo formatını mı tercih edeyim? Bana göre, bir HDF dosyasını ayda bir tutarsam sabit format iyi görünüyor, bu şekilde bir dizi muhtemelen RAM'e sığar ve bir tablo formatı endeksine ihtiyaç duymadan bellekte dilimleyebilirim. Doğrumuyum ?

Ve bu en iyi yaklaşım değilse , bu veri deposunu nasıl yapılandırmalıyım veya hangi teknolojileri göz önünde bulundurmalıyım? Büyük zaman serileri verilerini depolayan ilk kişi ben değilim, bu zorluğun çözümü için genel yaklaşım nedir?

Düşündüğüm diğer yaklaşımlar:

• dizi veritabanları: bunlar sabit örnekleme periyodu olan zaman serileri için mükemmel bir seçimdir, çünkü daha sonra sadece dizinin başlangıç ​​ve bitiş zamanlarını ve örnekleme periyodunu saklamanız gerekir ve ardından dizinin ve indekslemenin sadece değerleri kolaydır. Ancak serinin kendi içindeki değişken örnekleme periyotları ile, benim görüşüme göre DBMS dizisi için bu kadar uygun olmayan bir zaman damgası- değer ilişkisini daha yakından tutmam gerekiyor.
• zaman damgası, paramID, sütun olarak değere sahip standart SQL veritabanı, ancak yapıları gereği herhangi bir sorgu için çok fazla disk I / O talep ederler.

Grafit projesinin bir parçası olan karbon ve fısıltıya bakmak isteyebilirsiniz . Karbon çok büyük miktarda zaman serisi verisini kaldırabilir. Buna rağmen, şimdi belgeleri okuduğumda (kullandığımdan beri birkaç yıl geçti), sadece sayısal veriler için. Ayrıca dize verileriniz olduğunu söylemiştiniz, bu yüzden bunu yararlı bulamayabilirsiniz. Yine de, büyük miktardaki verileri hızlı bir şekilde nasıl işleyebildikleri konusunda biraz bilgelik kazanabilirsiniz.

Ne kadar iyi olduğu konusunda bir fikir vermek gerekirse, grafit ilk Orbitz'de üretime girdiğinde, dakikada 160.000 ölçüm gerçekleştiriyordu .

InfluxDB Go ile yazılmış bir açık kaynak veritabanıdır. Özellikle zaman serisi verilerini işlemek için yazılmıştır ve Cassandra ile karşılaştırıldığında çok daha iyi performans gösteren kıyaslamalar yayınlamıştır :

InfluxDB, 10,8 x daha az disk alanı kullanırken ve test edilen sorgular için 168 kat daha hızlı yanıt süresi sağlarken 4,5x daha fazla yazma verimi ile Cassandra'nın üç testinde de daha iyi performans gösterdi.

sütun odaklı veritabanlarını kontrol etmek isteyebilirsiniz. Dizi veritabanları ile ne demek istediğinizi tam olarak bilmiyorum ama önerilen yaklaşımımla, zaman dilimi başına dinamik bir değere sahip olabilirsiniz. Aynı zaman damgası için birden fazla değeriniz de olabilir. İlginç olan kısım, eğer aynı zaman damgasında ölçülen değerlere sahipseniz, bunları ilave sütunlar olarak kaydedebilirsiniz (örn. Sıcaklık ve nemi ölçen bir sensör, hisse senedi alım satım fiyatı ve bir işlemin büyüklüğü, ...). Sütun yönelimli doğası nedeniyle, 100 sütunlu tablolara sahip olabilirsiniz, ancak sorgunuz yalnızca beş sütuna erişiyorsa, veritabanı yalnızca beş sütunun verilerini okur.

Kendi zaman serisi veritabanınızı oluşturma hakkında bir seri yazdım, bir göz atmak isteyebilirsiniz:

• Bölüm 1: https://medium.com/@hellomichibye/column-oriented-database-introduction-part-1-572e5780aebb
• Bölüm 2: https://medium.com/@hellomichibye/column-oriented-database-draft-part-2-21199a2de18a