Zaman serilerini mongodb'da nasıl saklamalıyım

Zaman serisi bir veritabanı oluşturmak ve aşağıdaki görevleri gerçekleştirmek gerekir:

• yeni zaman serileri oluştur
• mevcut zaman serilerini güncelle
• aynı anda bir veya birkaç zaman serisini sorgulayın (örneğin, aynı tarih için tüm zaman serileri vb.)

Mongo buna uyarlanmış mı ve evet ise, veritabanını nasıl yapılandırmalıyım? (bir kez serie = bir belge? Veya bir belge = zaman serisinin bir girişi ve tüm bu belgeler tüm zaman serileri olan koleksiyonu oluşturur?)

Burada biraz kayboldum ve genellikle Mongo çok esnek sunulduğu için herhangi bir bilgi bulmakta zorlanıyorum, böylece kullanıcı altyapıda seçim yapabiliyor.

Moğol'daki zaman serilerinin nasıl yönetileceğini özel olarak açıklayan herhangi bir öğretici bağlantısı çok hoş geldiniz.

Teşekkür ederim!

Doküman başına tek bir zaman serisi girişi öneriyorum. Doküman başına birden fazla giriş saklama konusunda bazı sorunlar var:

• tek bir belge belirli bir boyutla sınırlıdır (şu anda 16 MB); bu, tek bir belgede kaç girişin depolanabileceğini sınırlar
• bir belgeye daha fazla giriş eklendiğinden, tüm belge (ve zaman serileri) gereksiz yere silinecek ve daha büyük bir belleğe yeniden tahsis edilecektir
• alt belgelerdeki sorgular normal belgelerdeki sorgularla karşılaştırıldığında sınırlıdır
• çok düz yapıya sahip belgeler (her saniye için bir alt belge gibi) performans göstermez
• yerleşik harita küçültme alt belgelerde de çalışmaz

Ayrıca, zaman damgasının varsayılan MongoDB ObjectId'de yerleşik olduğunu unutmayın . Zaman serisi hassasiyeti bir saniyeden azsa bunu kullanabilirsiniz .

İşte bir olan MongoDB kullanan bir olay günlüğü kütüphanesinden örnek BSON belge :

Example format of generated bson document:
{
    'thread': -1216977216,
    'level': 'ERROR',
    'timestamp': Timestamp(1290895671, 63),
    'message': 'test message',
    'fileName': '/var/projects/python/log4mongo-python/tests/test_mongo_handler.py',
    'lineNumber': 38,
    'method': 'test_emit_exception',
    'loggerName':  'testLogger',
    'exception': {
        'stackTrace': 'Traceback (most recent call last):
                       File "/var/projects/python/log4mongo-python/tests/test_mongo_handler.py", line 36, in test_emit_exception
                       raise Exception(\'exc1\')
                       Exception: exc1',
        'message': 'exc1',
        'code': 0
    }
}

Bir olay günlüğü bir zaman serisine benzer olduğundan , kodun geri kalanını incelemeye değer olabilir . Java, C #, PHP ve Python sürümleri vardır.

İşte benzer bir açık kaynak projesi: Zarkov

[güncelleme] @ RockScience'ın yorumuna yanıt olarak, birkaç referans daha ekledim:

• MongoDB'nin zaman serilerini depolamak için nasıl kullanıldığına dair çok ayrıntılı vaka çalışması . İlginç parçalar:
  • Slayt 25: Ne kadar veri? 10 yıl boyunca 1 dakikalık aralıklarla 4 adet 4 baytlık veri noktası (bunlar gerçek istatistikler mi yoksa yalnızca tahmin edilen tahminler ise belli değil)
  • Slayt 66: zaman serisi verilerini depolamak için kullanılan örnek MongoDB belgesini gösterir
• Doğrudan MongoDB'nin yaratıcılarından günlük verilerini depolamak için en iyi uygulamalar

Bu soruyu , OP'nin bir zaman serisini nasıl saklayacağını soracağı SO ( /programming/4814167/storing-time-series-data-relational-or-non ) üzerinde buldum . Her ne kadar onun sorusu bir NoSQL veritabanı veya bir RDBMS kullanmaya dayalı olsa da, bir NoSQL db kullanarak oldukça ayarlanmış görünüyorsunuz.

Ayrıca, " Zaman Serisi Verilerinin Benzersiz Veritabanı Gereksinimleri " ile ilgili bu makaleyi de yararlı bulabilirsiniz.

Bu yardımcı olur umarım.

Evet kesinlikle, NoSQL veritabanı geleneksel RDBMS'den daha fazla zaman çizelgesi verisi depolamaya daha uygundur.

Evet MongoDB, istisnai olarak bu kullanım durumuna uyarlanmıştır.

- Veritabanını nasıl yapılandırmalısınız? Bir belge = bir zaman serisi girişi VS çoklu zaman serisi.

Cevap bir belgede birden çok kez saklamaktır. Daha az belgeye sahip olmak, daha az okuma ile performansa yardımcı olacaktır. Bir numara, belgenizi önceden tanımlanmış değerlerle hazırlamaktır. Bu, Kayıt Dolgusu'ndan kaçınarak belgenin güncellenmesini optimize eder .

Aşağıda, bir dakikalık aralıklarla bir saatlik değere sahip zaman çizelgelerinin en iyi şekilde nasıl depolanacağına ilişkin bir şema örneği verilmiştir:

{
  timestamp_hour: ISODate("2015-07-02T23:00:00.000Z"),
  type: “memory_used”,
  values: {
    0: 999999,
    1: 1000000, 
    …,
    58: 0,
    59: 0
  }
}

0 değeriyle başlatırsınız ve güncellemeler en iyi duruma getirilir. Okumalar optimize edilmiştir, çünkü 60 yerine bir belge okunur. Bir günlük veri depolamanız gerekiyorsa veya aynı teknikle bir ay devam ederseniz, fikir elde edersiniz.

Resmi MongoDb Blogundan MongoDb'de zaman serilerinin nasıl yönetileceğini özel olarak açıklayan bir eğiticinin bağlantısı: http://blog.mongodb.org/post/65517193370/schema-design-for-time-series-data-in- mongodb