Nginx ile çalışan bir web uygulamam var ve her dosyanın kaç isabet aldığını ve hangi 404'leri ve diğer hataları ürettiğimizi (Google Analytics'in sağlayamadığı bir şey) öğrenmek için günlükleri analiz etmek istiyorum.
Normalde sadece bir sunucuya awstats düşürürdüm, ancak nginx ile, cgi-bin eksikliği nedeniyle önemsiz değil. Bu bilgiyi almak için başka bir önemsiz çözüm var mı? Bu analizi benim için yapması için üçüncü bir tarafa ödeme yapmayı umursamıyorum.
Yanıtlar:
Web günlüklerinizi analiz etmek ve isabetlerin, benzersiz IP'lerin, en iyi statik dosyaların, en iyi 404'lerin, farklı durum kodlarının ve daha fazlasının bir özetini almak için goaccess'i kullanabilirsiniz . İlk üst düzey bilgi özetini görüntüler ve ardından her bir ana bölümü etkileşimli olarak incelemenize olanak tanır. Bir günlük dosyası veya bir boru besliyorsunuz ve çok hızlı.
Burada SF'de keşfettim ve o zamandan beri web sunucusu günlüklerine bakma biçimimi değiştirdi: Fırsatçı, problem odaklı günlük analizi yapma eğilimindeyim ve analog, awstats ve webalizer'dan memnun kalmadım.
Elinizi kirletmek isteyen varsa ben kullanmak tavsiye ediyorum Logstash + ElasticSearch + Kibana .
Sorduğunuzdan çok daha fazlasını yapabilir, ancak sorduğunuz şeyi yapabilir ve gerçekte ne olup bittiğini veya olup bittiğini anlamak için günlüklerinize göz atmak için gerçek bir yüzeye sahip olursunuz.
Bu Kibana demo web sitesidir
Bu, bu platformla Apache Tomcat'i analiz etmenin nasıl kurulduğunu gösteren bir blog yazısıdır, sadece ihtiyaçlarınıza göre uyarlayabilirsiniz: http://spredzy.wordpress.com/2013/03/02/monitor-your-cluster -of-tomcat-uygulama ile-logstash-ve-Kibana /
Bu hafta Nginx ile awstats kullanmak zorunda kaldım ve mutlaka cgi-bin kullanmak zorunda değilsiniz. Awstats, daha sonra Nginx ile sunabileceğiniz statik html dosyaları oluşturacak awstats_buildstaticpages.pl betiği ile birlikte gelir. Bir cron işi ile html dosyalarını düzenli olarak güncelliyoruz.
/usr/share/doc/awstats/examples/awstats_updateall.pl now -awstatsprog=/usr/lib/cgi-bin/awstats.pl
/usr/share/awstats/tools/awstats_buildstaticpages.pl -update -config=domain.com -dir=/path/to/save/html/files awstatsprog=/usr/lib/cgi-bin/awstats.pl
(İşletim sisteminize bağlı olarak yollar biraz farklı olabilir, ancak komut dosyalarını bulabileceksiniz)
Günlük döndürme sırasında veri kaybını önlemek için bu satırı awstats.domain.com.conf dosyanıza ekleyebilirsiniz:
LogFile="/usr/share/awstats/tools/logresolvemerge.pl /path/to/log/access.domain.tld.log /path/to/log/access.domain.tld.log.1 |"
Verilerinizi güncellemek üzere günlüğü her aldığınızda, komut dosyası son 2 günlüğü birleştirir. Veya Nginx'e burada yaptıkları gibi bir ön logrote kanca ekleyebilirsiniz: http://www.bytetouch.com/blog/system-administration/how-to-awstats-installation-and-configuration-on-debian/