Stdin'den saniyede satır saymak için bir Unix / Linux komutu var mı?

22

Bir günlük dosyasından saniyede SQL sorgu sayısını saymaya çalışıyorum ve stdout komutunu grep komutundan bazı komutlara geçirerek gerçek zamanlı olarak yapmak istiyorum. (Bazı performans testleri yapıyorum)

Kendim yazabilirim, ancak bunun olacağından eminim.

WC'ye baktım ama buna izin verecek bir seçenek görmedim.

Ayrıca, erişim kütüğünden bir kuyruk geçirerek saniyedeki istekleri saymak için de kullanabilirim.

linux performance

— digidigo
kaynak

1

stackoverflow.com/questions/2754470/…

— Daniel t.

Bu sorunun ne anlama geldiğine dair daha faydalı bir şey arıyorum.

— digidigo

2

watch -n 3 "wc -l logfile"

man sayfa

izle - düzenli aralıklarla bir program yürüt, çıktı tam ekran gösteriliyor Varsayılan olarak, program her 2 saniyede bir çalıştırılır; Farklı bir aralık belirtmek için -n veya --interval komutunu kullanın.

— Nim
kaynak

45

pvsenin emrin P ipe V toplayıcısı, içinden geçen verilerle ilgili istatistikleri yazdırır ve doğrudan stdout'a yönlendirildiği için boru hattınızda herhangi bir yerde çalışabilir. Örneğin:

tail -f /var/log/nginx/access.log | pv --line-mode --rate > /dev/null

pvKomut baskılar saniyede hatların mevcut sayısını, (varsayılan saniyede bayt) stderr hangi bu özel veri kaynağı (Nginx varsayılan günlük dosyası) için saniyede gelen web istekleri İçin eşittir. Sadece sayıları önemsiyorum, bu yüzden içine sızıyordum /dev/null. Gibi seçenekler de vardır:

-b (toplam satır sayısı),
--average-rate (başlangıçtan beri ortalama oran) ve
--timer (borunun ne kadar zamandır gittiğini izler).

Diyorsunuz yoksa --line-mode, bu sunucu günlükleri için istediğini muhtemelen değil, hangi byte sayarız ama kullanışlı başka bir yerde olabilir.

Son Not: ... | pv -lb > file.txtgibi bir çok şey var ... | tee file.txt | awk '{printf "\r%lu", NR}'da çizgileri saymak için kullanışlıdır, ama pvçağrı çıkışı oldukça heyecanlı olduğu olmasa, yolu kısadır - pvyani ederken, varsayılan olarak her saniye günceller awkkomut güncellemeleri sürekli.

— chbrown
kaynak

Pv'den sadece bir değer elde etmek mümkün mü? İzleme amacıyla zaman aralığı için ortalama bir değere ihtiyacım var. Bu yüzden değişkene değer atamam gerekiyor.

— Sonique,

@Sonique bu bir çamurluk, çünkü bunun pviçin inşa edilmedi (senin için olsaydım ulaşırdım awk), ama elbette mümkün. Diyelim ki twilight stream --timeout 5Twitter spritzerinden 5 saniye boyunca örnek alacak ve sonra çıkacak bir komuttur: RATE="$(twilight stream --timeout 5 | pv --line-mode --rate --force 2>&1 1>/dev/null | tr -s '\r\n' '\n' | tail -1)"sonra echo $RATE"[40.8 / s]" gibi bir şey üretir ( s , artık bir TTY olmadığı için ek --forcebayrağa dikkat edin ). pvstderr

— chbrown

Tüm programlar için benim için güvenilir bir şekilde çalışmıyor; > /dev/nullçıktının şimdi "blok öbek" olduğunu ve artık düzgün şekilde akmadığını göstererek kaldırıyor . Belki de unbufferbazı programlar üreten programlara ihtiyaç duyuluyor, bu yüzden borulandıklarını tespit ettiklerinde çıktı tamponlamayı engellemiyorlar.

— nh2

13

Belki de denemelisin logtop?

tail -f foobar.log |logtop

— klocek
kaynak

Bahsettiğiniz kayıt defteri bu mu? github.com/JulienPalard/logtop

— digidigo

Eğer debian kullanıyorsanız Evet, depo içinde bir paket var packages.debian.org/wheezy/logtop

— klocek

dang bence ihtiyacım olan şey bu ama CentOs'ta derleyemedim

— digidigo

1

watch -n 5 "mysqladmin status | awk -F'  ' '{ print \$NF }'"

— kuantum
kaynak

Bunu işe alamadım. Sözdizimi hakkında emin misiniz?

— digidigo

Hangi hatayı alıyorsun? Şifre sormadan ~/.my.cnfçalışacak mysqladminşekilde yapılandırdınız mı ?

— Kuantum