Boruda tamponlamayı kapat

İki komutu çağıran bir betiğim var:

long_running_command | print_progress

long_running_commandBaskılar bir ilerleme ama onunla mutsuzum. print_progressDaha güzel yapmak için kullanıyorum (yani, ilerlemeyi tek bir satırda basıyorum).

Sorun: Stdout'a bir boru bağlamak da 4K'lık bir tamponu aktive eder, hoş baskı programına hiçbir şey alamaz ... hiçbir şey ... hiçbir şey ... bir sürü ... :)

4K arabelleğini nasıl devre dışı bırakabilirim long_running_command(hayır, kaynağa sahip değilim)?

unbufferKomutu kullanabilirsiniz ( expectpaketin bir parçası olarak gelir ), örneğin

unbuffer long_running_command | print_progress

unbufferlong_running_commandsistemin bir etkileşimli işlem olarak ele almasını sağlayan bir psödoterminal (pty) ile bağlanır , bu nedenle, ertelemenin olası nedeni olan boru hattında 4-kiB tamponlama kullanılmaz.

Daha uzun boru hatları için, her bir komutun çözümünün kaldırılması gerekebilir (sonuncusu hariç), örn.

unbuffer x | unbuffer -p y | z

Bu kediyi cildin başka bir yolu stdbufGNU Coreutils'in bir parçası olan programı kullanmaktır (FreeBSD'nin de kendine ait olanı vardır).

stdbuf -i0 -o0 -e0 command

Bu, giriş, çıkış ve hata için tamponlamayı tamamen kapatır. Bazı uygulamalar için, çizgi tamponlama performans nedenleriyle daha uygun olabilir:

stdbuf -oL -eL command

_{Yalnızca dinamik olarak bağlı uygulamalar için stdioarabelleğe alma ( printf(), fputs()...) için çalıştığını ve yalnızca bu uygulamanın standart akışlarının arabelleğe alınmasını kendi başınıza ayarlamamasına rağmen, çoğu uygulamayı kapsaması gerektiğini unutmayın.}

Bunun için hat tamponlama çıkış modunu açmanın bir başka yolu da, sözde bir terminalde (pty) çalışan komutu long_running_commandkullanmaktır .scriptlong_running_command

script -q /dev/null long_running_command | print_progress      # FreeBSD, Mac OS X
script -c "long_running_command" /dev/null | print_progress    # Linux

İçin grep, sedve awkçıkış hattı tamponlu edilecek zorlayabilir. Kullanabilirsiniz:

grep --line-buffered

Çıktıyı arabelleğe alınmaya zorla. Varsayılan olarak, standart çıktı bir terminal olduğunda çıktı arabelleğe alınır ve aksi takdirde blok arabelleğe alınır.

sed -u

Çıkış hattını arabelleğe al.

Daha fazla bilgi için bu sayfaya bakın: http://www.perkin.org.uk/posts/how-to-fix-stdio-buffering.html

Çıktı bir terminale gitmediğinde tamponun / temizlemenin değiştirilmesi libc ile ilgili bir problemse, socat'ı denemelisiniz . Neredeyse tüm G / Ç mekanizmaları arasında çift yönlü bir akış oluşturabilirsiniz. Bunlardan biri sahte bir tty ile konuşan çatallı bir programdır.

 socat EXEC:long_running_command,pty,ctty STDIO 

Ne yapar

• sözde tty oluşturmak
• çatal long_running_command pty köle tarafı ile stdin / stdout olarak
• pty'nin ana tarafı ile ikinci adres arasında çift yönlü bir akış oluşturmak (burada STDIO'dur)

Bu size aynı çıktıyı verirse long_running_command, bir boruya devam edebilirsiniz.

Düzenleme: Vay unbuffer yanıtını görmedim! Sosyal, zaten harika bir araçtır, bu yüzden bu cevabı bırakabilirim.

Kullanabilirsiniz

long_running_command 1>&2 |& print_progress

Sorun, libc'nin ekrana stdout yapıldığında satır arabelleğini ve bir dosyaya stdout olduğunda tam arabelleğe almasıdır. Fakat stderr için tampon yok.

Boru tamponu ile ilgili bir sorun olduğunu sanmıyorum, hepsi libc'in tampon politikası ile ilgili.

Durum buydu ve muhtemelen hala durum böyledir, standart çıktı bir terminale yazıldığında, varsayılan olarak satır tamponlanır - yeni bir satır yazıldığında, satırın terminale yazılması. Standart çıktı bir boruya gönderildiğinde, tamamen tamponlanır - bu nedenle standart I / O tamponu dolduğunda veriler sadece boru hattındaki bir sonraki işleme gönderilir.

Bu sorunun kaynağı. Programın boruya yazılmasını değiştirmeden düzeltmek için yapabileceğiniz çok şey olup olmadığından emin değilim. Koşulsuzca satır arabelleğe alma moduna geçirmek için setvbuf()işlevi _IOLBFbayrakla birlikte kullanabilirsiniz stdout. Ancak bunu bir programda uygulamanın kolay bir yolunu görmüyorum. Veya program fflush()uygun noktalarda (her çıktı satırından sonra) yapabilir, ancak aynı yorum geçerlidir.

Boruyu sahte terminalle değiştirirseniz, standart G / Ç kütüphanesinin çıktının bir terminal olduğunu düşüneceğini (bunun bir tür terminal olduğundan) ve otomatik olarak tampon arabelleği olacağını varsayalım. Bununla birlikte, bu şeylerle başa çıkmanın karmaşık bir yoludur.

Bunun eski bir soru olduğunu biliyorum ve çok fazla cevabı vardı ama arabellek probleminden kaçınmak istiyorsanız, sadece şöyle bir şey deneyin:

stdbuf -oL tail -f /var/log/messages | tee -a /home/your_user_here/logs.txt

Bu, gerçek zamanlı olarak günlükleri çıkarır ve ayrıca bunları logs.txtdosyaya kaydeder ve arabellek artık tail -fkomutu etkilemez .

Sorunun boruyla ilgili olduğunu sanmıyorum. Uzun süren işleminiz kendi tamponunu yeterince sık temizlemiyor gibi geliyor. Borunun tampon boyutunu değiştirmek, etrafını sarmak için bir hack olurdu, ancak çekirdeği yeniden inşa etmeden mümkün olabileceğini sanmıyorum - hack olarak yapmak istemeyeceğiniz bir şey, muhtemelen aversley birçok başka işlemi etkiliyor.

Buradaki yazıya göre , boru ulimitini bir tek 512 bayt bloğa indirmeyi deneyebilirsiniz. Tamponlama kesinlikle kapanmayacak, fakat 512 bayt 4K: 3'ten daha az.

Çad'ın cevabına benzeyen bir damarda , bunun gibi küçük bir senaryo yazabilirsiniz:

# save as ~/bin/scriptee, or so
script -q /dev/null sh -c 'exec cat > /dev/null'

Sonra bu scripteekomutu yerine kullanabilirsiniz tee.

my-long-running-command | scriptee

Ne yazık ki, Linux'ta kusursuz çalışmak için böyle bir sürüm elde edemiyorum, bu yüzden BSD tarzı teksirler ile sınırlı görünüyor.

Linux'ta, bu yakın, ancak bittiğinde komut isteminizi geri alamazsınız (enter tuşuna basıncaya kadar) ...

script -q -c 'cat > /proc/self/fd/1' /dev/null

Bu akıllı çözümü buldum: (echo -e "cmd 1\ncmd 2" && cat) | ./shell_executable

Bu hile yapar. catek girişi okuyacak (EOF'ye kadar) ve echobunu argümanlarını giriş akışına koyduktan sonra boruya iletecektir shell_executable.

Göre bu boru tampon boyutu çekirdekte ayarlanmış gibi görünüyor ve değiştirmek için çekirdek derlemek gerektirecektir.