Splunk Alternatifleri?

Splunk , özellikle sürüm 4'ten oldukça etkilendim . Güzel grafikler, alarm (yalnızca Enterprise) ve hızlı, doğru arama. Harika bir ürün.

Bununla birlikte, maliyet, şirketimiz için tam üretim kullanımı için göz önüne alınmayacak kadar yüksek. Tek ihtiyacımız olan, farklı kütükleri merkezi bir yerde indeksleyebilmek ve bunun için makul bir araştırmaya sahip olmak. Kaydedilmiş aramayı temel alan uyarıları almak da gerçekten güzel. Gerçekten bunun ötesine geçmiyoruz.

Aslında, en büyük kullanımımız yeni uygulamalar dağıtmak olmuştur. Her şey log4net aracılığıyla Windows'taki Olay günlüğüne veya Linux'taki bir metin dosyasına kaydedilir. Splunk, uygulamanın tüm parçalarının çalıştığından emin olmak için aralarında hızlı bir şekilde arama yapmayı oldukça kolaylaştırıyor - bu da bize bireysel günlük kaynaklarının peşinden gitmeye karşı tonlarca zaman kazandırdı.

Bu pazarda hangi alternatifler var? Splunk'un fiyatlandırmasının çok yüksek olduğu için battığım bir duygu var çünkü şu ana kadar en iyi ürüne sahipler ve bunu biliyorlar. Sunucunun Windows üzerinde çalışmasını istiyoruz.

Genel loglar için bir ürün (syslog / Snare aracılığıyla topla) ve özel uygulamalarımız için ( Log4Net Dashboard gibi ) özel bir ürün kullanarak bölünmüş bir modele açık olurdum .

SQL Server'a gönderilen Kiwi gibi basit bir syslog sunucusu kullanmak (belki de tam metin etkin)?

Umarım maliyet 5 rakamın altında olmalı, USD. (Ve evet, biliyorum, biz ucuzuz. Az parayla başlıyoruz ve BizSpark tüm MS lisanslarımızla ilgileniyor.)

Düzenleme: Eklemeliyim ki, yaklaşık 10 fiziksel sunucu, 20 VM ve birkaç güvenlik duvarı ve anahtar var. % 90'ı Windows'tur.

Not: Bunların hepsi Linux ve özgür yazılımla ilgilidir , çünkü en çok kullandığım şey, ancak günlükleri bir Linux syslog sunucusuna göndermek için Windows'ta bir syslog istemcisiyle iyi durumda olmalısınız.

Bir SQL sunucusuna giriş yapma: Yalnızca ~ 30 makineyle, hemen hemen herhangi bir merkezi syslog-benzeri ve bir SQL arka ucunda iyi olmalısınız. Bunun için Linux'ta syslog-ng ve MySQL kullanıyorum .

Grafikleme için oldukça ön uçlar ana sorundur - Görünüşe göre, günlüklerden öğeleri alan ve kaç tane isabet, uyarı vb. Olduğunu gösterecek çok sayıda kilitlenmiş ön uç olduğu görülüyor, ancak entegre ve temiz bir şey bulamadım. Kuşkusuz bu aradığınız en önemli şey ... (İyi bir şey bulursam bu bölümü güncellerim!)

Uyarı : Günlüklerinde meydana gelen kötü şeyleri bulmak ve çeşitli yöntemlerle beni uyarmak için Linux sunucusunda SEC kullanıyorum . İnanılmaz derecede esnek ve Splunk kadar da değil. Burada , olası birçok özelliği yönlendiren hoş bir eğitim var .

Ayrıca Nagios'u çeşitli istatistiklerin grafikleri ve kayıtlardan alamadığım bazı uyarılar için kullanıyorum (örneğin, servisler düştüğünde vb.). Bu, istediğiniz herhangi bir şeyin grafiklerini eklemek için kolayca özelleştirilebilir. Aracının , günlüklerdeki isabet sayısını saymak için check_logfiles eklentisini kullanmasını sağlayarak, bir http sunucusuna yapılan isabet sayısı gibi öğelerin grafiklerini ekledim (her kontrol periyodu için aldığı pozisyonu kaydeder).

Genel olarak, kullanabildiğiniz birçok seçenek olduğu için Splunk kadar entegre olmadıkları ve muhtemelen istediğiniz şeyi yapmak için daha fazla çaba göstermeleri gerekeceğinden, bunu ayarlamak için zamanınızın ne kadara mal olacağına bağlıdır . Nagios grafikleri kurmak basittir, ancak grafiği eklemeden önce geçmiş verilerini vermezsiniz; oysa Splunk (ve muhtemelen diğer ön uçlar) ile geçmiş kayıtlara bakabilir ve sadece sadece grafiklerinize bakabilirsiniz. onlardan bakmak düşündüm.

Ayrıca, SQL veritabanı formatının ve indekslemenin sorguların hızı üzerinde çok büyük bir etkisi olacağına dikkat edin, bu nedenle tam metin indeksleme fikriniz aramaların hızında büyük bir artış sağlayacaktır. MySQL veya PostgreSQL'in benzer bir şey yapacağından emin değilim.

Düzenleme : MySQL tam metin indeksleme yapacak, ancak sadece MySQL 5.6'dan önceki MyISAM tablolarında . 5.6'da InnoDB için destek eklendi .

Düzenleme : Postgresql elbette tam metin arama yapabilir: http://www.postgresql.org/docs/9.0/static/textsearch.html

Pencerelere göre * nix'e daha çok yöneliktir, ancak ahtapotlar pencereleri destekler ve ayrılanlarla aynı şeyi hedefler gibi görünmektedir.

Bazı izleme çözümlerini denemenin tam ortasındayım - ama çoğunlukla pencereleri izlemek istiyorum. Sistemlerin çoğu, aracılar olmadan dikkate değer miktarda bilgi çekmeyi başaran SNMP izlemesine yöneliktir.

Bunlar şimdiye kadar denediğim sistemlerden bazıları:

Nagios - Açık kaynak. Yapılandırmak için bir domuz, ancak yüksek puan ve çok esnek görünüyor. Temelde bir sayaç kaydedici gibi görünüyor ve uzaktan komut dizisinin yürütülmesine izin vermiyor ve bu nedenle yapılandırma sorunlarını, ala MS sistem merkezi veya Kaseya'yı almak için kullanılamaz. Ajansız ama her istemcide yüklü NSclient aracı olmadan aslında işe yaramaz.

Kaktüsler - Snmp istatistiklerini çekmeye dayanan hoş ve basit bir grafik aracı. Ajansız.

OpsView - Nagios'a dayanır, ancak yapılandırılması daha kolaydır ve daha iyi bir ön uca sahiptir.

HypericHQ - Windows altında kalkması ve çalıştırması kolaydır. Temel versiyon ücretsiz ve bol miktarda var. Ticari bir HypericHQ kuruluşu var. Ajan her müşteriye kurulmalıdır.

Zabbix - Başka bir güzel izleme aracı. Nagagostan daha kullanımı kolaydır. Pencerelere ve istemci makinelere yükleyebileceğiniz bir araca sahiptir. Bunu şimdiye dek biraz araştırdım.

Zenoss - Açık kaynak. Zenoss'un profesyonelliğinden çok etkilendim. SNMP tabanlı bir monitörü ve HP proliants, windows servisleri, ms sql server, mysql'nin izlenmesine izin veren birçok uzantıya sahiptir. Eklentilerin tümü SNMP üzerinden çalışır, bu yüzden istemci makinelere hiçbir şey kurulmamalıdır. Henüz hepsini keşfetmedim ve henüz yararlanmam gereken çok fazla işlev var. Zope temelli olduğundan Zope kurulumlarında hız kazanmadığınız sürece önceden hazırlanmış VM'yi indirmenizi tavsiye ederim - kutudan çıkan rüya gibi çalışır.

Ticari cephede birkaç araca bir göz atabilirsiniz:

Kaseya - Eğer doğru hatırlıyorsam, 250 düğüm için yılda yaklaşık 6 k maliyet, ancak harika bir araç ve çok aktif bir kullanıcı topluluğuna sahip. Msp piyasasını hedeflemektedir ve birden fazla şirket sisteminin izlenmesini sağlar. Dahili olarak sorunsuzca kullanılabilir.

GFI Hounddog - Kaseya'dan daha basit fakat şu anda çok ucuz. Kesinlikle bir göz atmaya değer.

MSP sistemleri olarak satılan, ancak esas olarak monitörler ve uzaktan yönetimin bir araya getirildiği çok sayıda çözüm var.

Ian

Çok sayıda harika özelliğe sahip merkezi syslogging için yardımcı olamam ama yeterince rsyslog'u tavsiye ediyorum . Bildiğiniz ve sevdiğiniz düzenli syslogd'lar yerine mutlu bir şekilde çalışan bir açık kaynak syslog sunucusu. Şimdi Ubuntu için tercih edilen syslog cini ve Red Hat & Fedora'nın da bu yolda olabileceğini düşünüyorum. Birçoğunun kalkıp çalışmaya başladığını ve bu sistemin ne yapmak istediğini yapmasını daha kolay buldum.

Şu anda mağazamızda yüzlerce sunucuya ait günlükleri alan iki merkezi rsyslog sunucusu (her siteden bir tane) var. Sistem günlüğü syslog içindeki herhangi bir şey tetiklendiğinde veya daha fazla tetiklendiğinde otomatik e-posta uyarıları alıyorum (elbette ince ayarlarla, bazı uygulamalar biraz alarm veriyor). Muhtemelen nagios'a ya da benzeri şeylere bir şeyler göndermesini sağlamak gibi biraz daha zekiyim yapabilirdim ama bu şimdilik ihtiyaçlarımız için yeterince yeterli.

Bunların hepsi de mysql veritabanına giriyor (eğer böyle yaparsanız Oracle veya postgresql desteği de var).

Bir de var web ön ve pencereler ajan yanı rsyslog sunucuya Eventlog günlükleri göndermek için. Web ön yüzü açıkçası bölünmüş kadar kaygan değil ama işi 0 $ 'a alıyor.

Bir göz atın http://www.codeplex.com/polymon

Açık kaynaklı, arka ucunda SQL Server kullanıyor ve kullanıcı arayüzüne sahip

Splunk'un harika olduğu konusunda hemfikirim. Küçük, baskın olarak Linux ortamları için epylog gibi bir şeye bakmak isteyebilirsiniz .

Çalıştığım yerlerden birinde kullandık ve istediklerimiz için harikaydı.

Bir Linux syslog toplayıcısına gönderilen Windows syslog iletilerini ne kadar iyi kullanabileceğinden emin değilsiniz, ancak buna değer olabilir.

Sadece cevabımla bağlantı kurarak nerede:

Ayırma fevkalade pahalı: Alternatifler neler?

Düzenle (yeni projeler):

LogStash ve Graylog2 projeleri çok ilginç bakmak

İşte bir çift Videolar: bir iki .

GFI EventsManager gibi bir şey hile yaklaşık 4k $ için yapabilir.

• SNMP Tuzakları, Windows Olay günlükleri, W3C günlükleri ve Syslog dahil olay günlüklerinin analizi
• Gerçek zamanlı uyarılar, SNMPv2 tuzak uyarısı dahil
• Şu anda gerçekleşen temel güvenlik bilgileriyle ilgili raporları görüntüleyin
• Merkezi olay günlüğü
• Tüm güvenlik olaylarının büyük bir oranını oluşturan “gürültüyü” veya önemsiz olayları kaldırın
• Gerçek zamanlı 24 x 7 x 365 gün izleme ve uyarı
• Dahili durum monitörü ile GFI EventsManager ve ağınızın durumunu grafiksel olarak izleyin
• Sanal ortamlar için destek

Bir SysLog değişim arıyorsanız, LogLogic, http://loglogic.com gibi ticari bir syslog / rsyslog değişimi de düşünebilirsiniz . Biz (çalıştığım yer) tam özellikli bir kayıt, saklama ve raporlama cihaz setine sahibiz. Esasen, saniyede 100.000 mesaj toplama yeteneği, onları arama ve arama işlemleri için indeksleme yeteneğine sahiptir.

Logscape'i liquidlabs'tan deneyebilirsiniz - ayrılmaya çok benzer ancak birkaç farklı özelliği de vardır .... http://www.liquidlabs-cloud.com/products/logscape.html

Daha önceki bir işte SQL backend işini yaptım (bu arada MySQL'di), betikler, özel PHP betikleri ile Drupal arayüzü, eserleri.

Dürüst olmak gerekirse, çok fazla erkek saat sürdü ve hala Splunk değildi.

Şimdilik bunun yerine Splunk'u test ediyorum. Evet, ücretsiz değil, ama büyük resme bakıldığında daha ucuz olabilir.

Php-syslog-ng denediniz mi? http://code.google.com/p/php-syslog-ng/

Dupe iş parçacığı gönderdi: Splunk fevkalade pahalı: Alternatifleri nelerdir?

xpolog ve tüm ciddi ticari çözümler BÜYÜKDİR

Sooooo, nihayet yaptıklarımız (çünkü ayrılma çok fazlaydı):

1) sql db boru hattına basit bir syslog istedik

2) Kivi syslogunu denedik. Bu bir hafta boyunca harika çalıştı, çalışmayı durdurdu ve kivi desteği sorunu çözemedi. Kivi'yi düşürdük.

3) Winstoslog'u denedik. Bir uygulamanın eski bir köpeği, onu öğrenmek istemedik.

4) Biz bu ücretsiz. Net uygulamasını kullandık: http://www.aonaware.com/syslog.htm

Voila. Db’de syslog mesajlarımız var.

Çok mutluyuz. 0 dolar harcadı, birkaç saat, ama fazla değil.

Burada Splunk kullanıyoruz ve size söyledikleri fiyat yüzünden şok oldum. Bize verilen temel dağılım, 1GB veri başına 1 ABD Doları civarında bir yere geldi. Pahalı, ama süper güçlü ve geliştirmek için gerçekten hızlı. Veri kaynaklarınıza ve onlarla ne yapmak istediğinize bağlı olarak, bazı python ve perl komut dosyaları size birçok benzer veri verebilir. En büyük fark zaman ve metin işleme dilini gerçekten kullanmayı öğrenmektir. Ayrıca gerçek zamanlı IP bilgileri (syslog gibi şeyler) alamazsınız, ancak bunu bir syslogger alarak ve bilgileri bir metin dosyasına göndererek düzeltebilirsiniz. Üzgünüm sizi herhangi bir özel çözüme yöneltemem; splunk kullanamadığımız şey ise python, perl ve bash betiklerini kullanıyoruz.

ELSA - Kurumsal Günlük Arama ve Arşiv

Ana Özellikler:

• Mesajdaki veya ayrıştırılan alandaki herhangi bir kelimede tam metin araması.
• Herhangi bir alana göre gruplandırın ve sonuçlara göre raporlar oluşturun.
• Aramaları planlayın.
• Arama ile ilgili uyarı, yeni kayıtlara isabet eder.
• Aramaları kaydet, e-posta ile arama sonuçlarını kaydet.
• Arama sonuçlarına göre (eklenti ile) olay biletleri oluşturun.
• Sonuçlar için komple eklenti sistemi.
• Sonuçları kalıcı bağlantı olarak veya Excel, PDF, CSV ve HTML olarak dışa aktarın.
• İzinler için tam LDAP entegrasyonu.
• Kullanıcıya göre sorgu istatistikleri ve kayıt büyüklüğü ve sayısı.
• Tamamen dağıtılmış mimari, tüm sorguları paralel olarak yürüten düğümleri yönetebilir.
• Sıkıştırılmış arşiv, 10: 1 oranından daha iyi.

Performans detayları:

Bir sistemi belirtmek için, önem sırasına göre: disk boyutu, RAM, disk hızı, CPU sayısı. Önemli performans faktörü Sfenks'in indeksleyicisi ve arama arka planıdır, bu nedenle dokümanlar için sphinxsearch.com adresine bakın. Verdiğim istatistikler büyük sistemlerden (16 CPU, 144 GB RAM, 12 TB HD) alındı, ancak aynı performansı 4 CPU, 8 GB RAM ve işler boyutsal olarak ölçeklendirilen herhangi bir HD boyutunda alacak. Sistem ilk önce 4 GB RAM ve yavaş SAN sürücülerle IBM blade'leri kullandı ve yaklaşık aynı hızda performans sergiledi, ancak 4 GB bunu biraz yaklaştırıyor.

Performans detayları ve ana özellikler listesi ile birlikte mimarinin bir açıklaması: http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

Kod: https://code.google.com/p/enterprise-log-search-and-archive/

VM: http://ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html

Projeyle ilgili detaylar: http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html

Splunk'a çok daha uygun bir alternatif arıyorsanız - LogZilla ( http://www.logzilla.pro ) ' nu deneyin . Splunk'tan daha iyi veya daha iyi ölçeklendirilebilir (yaklaşık 1-2 saniyede 300m günlük kayıtlarını arayabilirsiniz) ve maliyetin 1 / 10'u kolayca. Onlar http://demo.logzilla.pro de çalışan bir demo var