Herkes bir günlük dosyasında yinelenen desenleri tespit etmek ve raporlamak için bir araç biliyor mu? [kapalı]

12

Bazı büyük gürültülü günlük dosyalarını (500m / gün) bir Java uygulamasından (log4j) izlemem gerekiyor. Şu anda manuel olarak dosyalara bakıyorum, "ERROR" için grep ve benzerlerini yapıyorum. Bununla birlikte, bir aracın dosyadaki yinelenen desenleri tespit etmesi, sayması ve tek tek girişlerin ayrıntıları için detaya inmesi mümkün olmalıdır. Böyle bir araç bilen var mı? Metin veya Web tabanlı bir kullanıcı arayüzü iyi olurdu.

log-files

— David Tinker
kaynak

1

Bana göre bu soru kesinlikle çığlık atıyor perl.

— John Gardeniers

Hmm ben çok sayıda grev ile bir bash betiği yazmak zorunda gibi görünmeye başlıyor. Desenleri otomatik olarak çözmeyi umuyordum.

— David Tinker

cidden, perl bunun için yaratılmıştı. Bu kalıplar için kendi kendine öğrenen bir senaryo yazabilirsiniz, ancak bu açıkça kapsam dışıdır.

— John Gardeniers

stackoverflow.com/questions/2590251/… Chainsaw adlı bir çözüme sahiptir.

— John aka hot2use

datadoghq.com/blog/log-patterns <- tavsiye ederim, ama deli pahalı olmasa da süper ucuz değil.

— neokyle

3

İnsanların günlük dosyalarına rutin günlük girişlerine karşı ilginç şeyler bulmak için Bayes filtreleme uyguladıklarını duydum. Alışılmadık girişler "spam" olarak kabul edilirken ve geçiş yaptıkları bu renklendirmeyi kullanırken rutin ilgisiz girişlerin "iyi" olduğu düşünülen spam filtreleri kullandılar.

Bana makine öğrenimi gibi bir şey gibi geliyor, ama sonra yine de onu eylemde görmedim, sadece biraların üzerinde duydum.

— adamo
kaynak

Bu benim için son derece makul görünüyor ve hatta her zaman sunucu günlüklerinde görünen belirli kelimeler hakkında çok güçlü önceden varsayımlara sahip olabilirsiniz (Bayes anlamında) .

— DrewConway

Evet bu işi yapardı. Eğitebileceğim bir uygulama bilen var mı?

— David Tinker

Biri CRM114 ile başlayabilir sanırım. Veya Drew Conway Hackerlar için Machine Learning'i yayınlayana kadar bekleyin . Hala teklif ettiğim şeyle ilgili orijinal referansı bulmak için çalışıyorum.

— adamo

Evet! 2005 yılında bu adaçayı üyeleri yazısında okudum . E-postanın yazarı spamprobe'den bahsediyor .

— adamo

6

Splunk bu tür şeyler için harikalar yaratıyor. Tüm günlükleri toplamak ve mükemmel tarayıcı tabanlı arayüzü ile hızlı arama yapmak için dahili olarak kullanıyorum.

— Burhan Khalid
kaynak

Ne yazık ki muhtemelen özgür olmayan sürüme ihtiyacımız olacak ve biraz pahalı

— David Tinker

3

syslog-ng bir patterndb adlı özelliğe sahiptir. Desenler yapabilir ve günlük girişlerini gerçek zamanlı olarak eşleştirebilir ve ardından bu girişleri ayrı günlük dosyalarına gönderebilirsiniz.

— Taş
kaynak

2

Syslog-ng ve patterndb (bu cevaba +1, yukarıda) bakarken, ELSA adlı web tabanlı bir araçla karşılaştım: http://code.google.com/p/enterprise-log-search-and-archive/ . Bir web arayüzü ile perl'de F / OSS ve gerçekten hızlı olması gerekiyordu.

Henüz denemedim, ama patterndb kullanarak filtrelemeyi tamamladıktan sonra, ELSA'yı deneyeceğim.

— EdwardTeach
kaynak

1

Petit deneyin .
Log4j formatıyla çalışıp çalışmayacağından emin değilim, ancak bunun için özel bir filtre yazabilirsiniz.
Petit'in web arayüzü yoktur, kabuğunuzda grafikler görüntüler (ASCII art ftw!).
Tekrarlanan mesajları hızlı bir şekilde görmek ve ne zaman meydana geldiğini veya daha sık olmaya başladığını anlamak çok yararlıdır.

— numaracı
kaynak

0

Sunucunuzda debian / squeeze kullanıyorsanız, log2mail'e bakın: http://packages.debian.org/squeeze/log2mail

— Thorstens
kaynak

0

Glogg, dize ve renk çizgisinde filtre tabanı oluşturma veya bir dizeye tüm oluşumları alma olanağına sahip olduğunuz için çok iyi bir günlük gezgini.

http://glogg.bonnefon.org/

— Alexandre Roux
kaynak

0

Splunk genellikle bunun için iyi bir çözümdür. Ama bunun sizin için çok pahalı olduğunu söylemiştiniz. Bu yüzden Logstash veya GrayLog'a bakmanızı tavsiye ederim .

— Raffael Luthiger
kaynak

-1

SEQREL'in kalıpları otomatik olarak algılayan ve benzer günlükleri toplayan LogXtender'ı deneyebilirsiniz. Bunun yolu, anında düzenli ifadeler oluşturmak ve diğer günlükleri eşleştirmek için önbelleğe alınan normal ifadeyi kullanmaktır. Ek taksonomi tespiti ile daha fazla ayrıntı düzeyi eklenebilir. Ücretsiz bir sürümü https://try.logxtender.net adresinden indirebilirsiniz .

— Mihnea
kaynak