RDBMS yerine günlükler için dosya sistemi neden tercih edilir?

Soru başlığından net olmalıdır. Örneğin Apache, ne kadar büyük ya da küçük ölçekte kullanıldığı fark etmeksizin, erişim ve hata günlüklerini RDBMS yerine dosyalara kaydeder.

RDMS için sadece SQL sorguları yazmalıyız ve bu iş için çalışacak, dosyalar için belirli bir formata karar vermeli ve daha sonra regex yazmalı ya da bunları işlemek için ayrıştırıcı olabilir. Ve eğer büyük özen gösterilmezse, bunlar özel durumlarda bile başarısız olabilirler.

Yine de herkes günlükleri korumak için dosya sistemini tercih ediyor gibi görünüyor. Bu yöntemlerin hiçbirine karşı taraflı değilim, ancak bunun neden böyle uygulandığını bilmek istiyorum. Hız mı, bakım kolaylığı mı yoksa başka bir şey mi?

1. Veritabanında çok fazla şey başarısız olabilir ve bu hataların kaydedilmesi de önemlidir.

2. Özerk işlemlere izin veren (veya hiç işlem yapılmayan) bir veritabanı sisteminiz yoksa, günlük kaydı ayrı bir bağlantı gerektirir; bu nedenle günlüğe kaydetme veya teslim etme işlemi, geri alma işlemine karışmaz veya uygulamada kesinleşmez.

3. Günlüğe kaydetmeye değer birçok şey başlangıç ​​sırasında, yani muhtemelen veritabanı bağlantısı kurulmadan önce gerçekleşir.

4. Tipik bir kurulumda, her gün yeni bir günlük dosyası oluşturulur, eski günlük dosyaları sıkıştırılır ve en sonunda silinmeden önce 2 hafta bekletilir. Aynı şeyi bir RDBMS'de yapmak kolay değildir.

Daha önce DB'ye yazılmış günlükleri gördüm (ve bazen izlemenin dosyaya gittiği, DB'deki hatalar, Windows Olay günlüğünde önemli olmayan günlükler için yapılandırılabilir seçenekler elde edersiniz).

Başlıca nedenler hız ve boyuttur, bazı izlemelerin etkinleştirilmesi, kayıtların çok büyük, çok büyük miktarlarda kalmasına neden olabilir - Büyüklükteki kütük dosyalarının arasında dolandım. Diğer bir ana sebep de günlükleri okumanın sıralı olması, belirli bir hata veya girdi bulmak dışında günlükleri sorgulamanın gerçek bir gerekliliği olmaması ve dosya bulma işleminin bunun için mükemmel bir şekilde çalışmasıdır.

Hız bir nedendir; diğerleri:

• Arıza noktalarını ortadan kaldırmak. Bir dosya sistemi nadiren bir DBMS'nin bulunmadığı koşullar altında başarısız olur, ancak veritabanlarında dosya sistemlerinde basit olmayan çok sayıda hata koşulu vardır.
• Düşük teknoloji erişilebilirliği. İşler gerçekten çok kötüye giderse, kurtarma kabuğuna önyükleyebilir veya diski farklı bir sisteme takabilirsiniz ve yine de günlük dosyalarını denetlemek için yeterli araçlara sahip olabilirsiniz. Eğer bir veritabanıysa, çalışan bir veritabanı sunucusu olmadan hiçbir yerde olmazsınız.

İlki.

Ve eğer büyük özen gösterilmezse, bunlar özel durumlarda bile başarısız olabilirler.

Dikkatli değilken veritabanı işlemleri başarısız olamaz?

Bir metin dosyasına yazmanın birçok yararı vardır, en önemlisi

• Metin insan tarafından okunabilir. Herkes basit bir metin düzenleyiciyle bir günlük dosyası açabilir ve mesajların ne olduğunu görebilir. Veritabanının nasıl düzenlendiğini anlamanıza gerek yok.
• Hız. Diske metin yazmak, metnin bir veritabanında nereye gittiğini bulmak, orada yazmak ve işlemin tamamlanmasını sağlamak için bir veritabanı hizmetinden çok daha hızlıdır.

Özellikle Apache'yi yükseltiyorsunuz, bu yüzden bunu detaylı olarak tartışacağım.

Apache bir veritabanına giriş yapmak için yapılandırılabilir, bunun için harici bir eklenti gerektirir . Böyle bir eklenti kullanmak log analizini kolaylaştırabilir, ancak yalnızca kendi log analiz yazılımınızı yazmayı düşünüyorsanız. Standart kullanıma hazır günlük analiz cihazları, günlüklerinizin dosyalarda olduğunu varsayar, bu nedenle bunları kullanamazsınız.

Bunu yaparken de güvenilirlik sorunları yaşadım: eğer veritabanı sunucusunun yazma arabelleği doluysa (ki altında çalışan kullanıcı için dosya sistemi kotanızı kullanırsanız mysql ile gerçekleşebilir), mümkün olana kadar sorguları sıraya sokmaya başlar. devam etmek için, Apache'nin hangi noktada bitmesini beklemeye başladığı, web sitenize asılan isteklerle sonuçlanır.

(Tabii ki bu sorun şimdi düzeltilebilir - tabii bunu yıllar önce yaptım)

Bir dosya sistemi bir veritabanıdır. Gerçekten de ilişkisel bir DBMS yerine basit, hiyerarşik bir veritabanıdır, ancak yine de bir veritabanıdır.

Bir dosya sistemine giriş yapmanın popüler olmasının nedeni, metin kayıtlarının Unix felsefesine iyi uymasıdır: "Metin evrensel arayüzdür."

Unix, metin kayıtlarıyla iyi çalışabilecek birçok genel amaçlı araç geliştirmişti. Metin günlüklerinin mysql, apache, özel uygulamanız, uzun süredir desteklenmeyen üçüncü taraf yazılımı tarafından üretilip üretilmediği önemli değildir, sysadmin grep, sed, awk, sort, uniq, cut, tail gibi standart Unix araçlarını kullanabilir , vb, günlükleri aynı şekilde trol etmek için.

Her uygulama kendi veritabanına, biri MySQL'e, diğeri Postgres'e, diğeri Elasticsearch'e giriş yaparsa, diğeri ELK'ye giriş yapmak ister, diğeri yalnızca MongoDB'ye giriş yapabilir, o zaman her birinin günlüklerini taramak için yirmi farklı araç öğrenmeniz gerekir. uygulama. Metin, herkesin giriş yapabileceği evrensel bir ortamdır.

Tüm günlüklerin tek bir veritabanına girmesini sağlamayı başarsanız bile, MySQL'i söyleyin, her uygulamanın farklı tablo şemaları ile giriş yapmasını isteyebilirsiniz; uygulama. Ve eğer her bir uygulamayı tek bir şemaya giriş yapmak için tıka basa doldurduysanız, genel şemanın size her uygulamanın tam hikayesini anlatamayacağını muhtemelen göreceksiniz.

Bir veritabanına giriş yapmak çoğu zaman uygulamada işleri gerçekten daha kolay hale getirmez.

Bir veritabanına giriş yapmak, aklınızdaki belirli bir analiziniz olduğunda ya da sadece bu belirli amaçlara ait verileri toplamak üzere belirli bir veritabanı şeması tasarlayabileceğiniz belirli denetim yeniden işleme gereklilikleri için faydalı olabilir. Ancak, adli tıp ve hata ayıklama için ve belirli bir hedef göz önünde bulundurulmadan günlük topladığınızda, metin günlükleri genellikle öğrenme veya özel araçlar oluşturma maliyetinin genellikle buna değmeyeceği kadar iyidir.

Buna birkaç katmanda bakalım:

1. Makine katmanı
2. İşletim sistemi katmanı
3. Servis katmanı
4. Uygulama katmanı

Kısaca:

• Makine katmanında, bir tür çöplükten başka günlük kaydı yapamazsınız.
• İşletim sistemi katmanında günlük kaydı yapabilirsiniz, ancak gerçekten yalnızca dosya sisteminize sahipsiniz.
• Servisler dosya sistemine giriş yapabilir, ancak çalışmakta olan diğer servislere güvenemezler, böylece orada giriş yapamazlar.
• Uygulamalar servislere ve dosya sistemine giriş yapabilir.

O zaman kullanıma dayanan yaklaşımımız var:

Düğüme özgü hataları, bir düğümün kaputunu açıp orada gördüğünüzde, belirli bir düğümün hatasını bulmak için fazladan çalışmanız gereken yatay olarak ölçeklendirilmiş bir RDBMS'ye kaydetmek ister misiniz? Diğer taraftan, uygulamanız, uygulama düzeyinde hatalar ve bildirimler toplamak için büyük olasılıkla bir RDBMS'ye giriş yapmalıdır.

Veritabanının yazılamadığı için RDBMS'nin kendisi için giriş yapması gerektiğinde ne olur?

Karmaşıklık. RDBMS eklemek, tüm sistemin karmaşıklığını astronomik olarak artıracaktır. Ve karmaşıklığı yönetme yeteneği, programcıları kaynak kod üreticilerinden ayıran en önemli şeydir.

Hız mı, bakım kolaylığı mı yoksa başka bir şey mi?

Hız.