alt işlem stdout'unu satır satır oku

Python betiğim, çok gürültülü bir linux yardımcı programını çağırmak için alt süreci kullanır. Tüm çıktıları bir günlük dosyasına kaydetmek ve bir kısmını kullanıcıya göstermek istiyorum. Aşağıdakilerin işe yarayacağını düşündüm, ancak yardımcı program önemli miktarda çıktı üretene kadar çıktı uygulamamda görünmüyor.

#fake_utility.py, just generates lots of output over time
import time
i = 0
while True:
   print hex(i)*512
   i += 1
   time.sleep(0.5)

#filters output
import subprocess
proc = subprocess.Popen(['python','fake_utility.py'],stdout=subprocess.PIPE)
for line in proc.stdout:
   #the real code does filtering here
   print "test:", line.rstrip()

Gerçekten istediğim davranış, filtre komut dosyasının alt satırdan alındığı gibi her satırı yazdırmasıdır. Ne teegibi ama python kodu ile sorta.

Neyi kaçırıyorum? Bu mümkün mü?

Güncelleme:

sys.stdout.flush()Fake_utility.py dosyasına a eklenirse, kod python 3.1'de istenen davranışa sahiptir. Python 2.6 kullanıyorum. Kullanmanın proc.stdout.xreadlines()py3k ile aynı işe yarayacağını düşünürdünüz, ancak işe yaramaz.

Güncelleme 2:

İşte asgari çalışma kodu.

#fake_utility.py, just generates lots of output over time
import sys, time
for i in range(10):
   print i
   sys.stdout.flush()
   time.sleep(0.5)

#display out put line by line
import subprocess
proc = subprocess.Popen(['python','fake_utility.py'],stdout=subprocess.PIPE)
#works in python 3.0+
#for line in proc.stdout:
for line in iter(proc.stdout.readline,''):
   print line.rstrip()

En son Python ile çalıştığımdan bu yana uzun zaman geçti, ama sorun, for line in proc.stdoutyinelemeden önce tüm girdiyi okuyan ifadeyle ilgili . Çözüm readline()bunun yerine kullanmaktır :

#filters output
import subprocess
proc = subprocess.Popen(['python','fake_utility.py'],stdout=subprocess.PIPE)
while True:
  line = proc.stdout.readline()
  if not line:
    break
  #the real code does filtering here
  print "test:", line.rstrip()

Tabii ki hala alt sürecin arabelleğe alınmasıyla uğraşmak zorundasınız.

Not: Dokümantasyona göre , bir yineleyiciye sahip çözüm readline(), okuma önbelleği hariç, kullanıma eşdeğer olmalıdır , ancak (veya tam olarak bu nedenle) önerilen değişiklik benim için farklı sonuçlar üretti (Windows XP'de Python 2.5).

Partiye biraz geç, ama burada en basit çözüm olduğunu düşündüğümü görmemek şaşırdı:

import io
import subprocess

proc = subprocess.Popen(["prog", "arg"], stdout=subprocess.PIPE)
for line in io.TextIOWrapper(proc.stdout, encoding="utf-8"):  # or another encoding
    # do something with line

(Bu Python 3 gerektirir.)

Gerçekten de, yineleyiciyi sıraladıysanız, arabelleğe alma artık sizin probleminiz olabilir. Alt işlemdeki python'a çıktısını arabelleğe almamasını söyleyebilirsiniz.

proc = subprocess.Popen(['python','fake_utility.py'],stdout=subprocess.PIPE)

olur

proc = subprocess.Popen(['python','-u', 'fake_utility.py'],stdout=subprocess.PIPE)

Python içinden python çağırırken buna ihtiyacım var.

Bu ekstra parametreleri şuraya geçirmek istiyorsunuz subprocess.Popen:

bufsize=1, universal_newlines=True

Ardından örneğinizde olduğu gibi yineleyebilirsiniz. (Python 3.5 ile test edilmiştir)

Her iki yineleme sağlayan bir fonksiyondur stdoutve stderrsatır satır eş zamanlı gerçek zamanlı olarak

Eğer her ikisi için çıkış akışı almak gerekir stdoutve stderraynı zamanda, aşağıdaki işlevini kullanabilirsiniz.

İşlev, her iki Popen borusunu tek bir yineleyicide birleştirmek için Kuyrukları kullanır.

Burada işlevi yaratıyoruz read_popen_pipes():

from queue import Queue, Empty
from concurrent.futures import ThreadPoolExecutor


def enqueue_output(file, queue):
    for line in iter(file.readline, ''):
        queue.put(line)
    file.close()


def read_popen_pipes(p):

    with ThreadPoolExecutor(2) as pool:
        q_stdout, q_stderr = Queue(), Queue()

        pool.submit(enqueue_output, p.stdout, q_stdout)
        pool.submit(enqueue_output, p.stderr, q_stderr)

        while True:

            if p.poll() is not None and q_stdout.empty() and q_stderr.empty():
                break

            out_line = err_line = ''

            try:
                out_line = q_stdout.get_nowait()
            except Empty:
                pass
            try:
                err_line = q_stderr.get_nowait()
            except Empty:
                pass

            yield (out_line, err_line)

read_popen_pipes() kullanımda:

import subprocess as sp


with sp.Popen(my_cmd, stdout=sp.PIPE, stderr=sp.PIPE, text=True) as p:

    for out_line, err_line in read_popen_pipes(p):

        # Do stuff with each line, e.g.:
        print(out_line, end='')
        print(err_line, end='')

    return p.poll() # return status-code

Döngüsüz satırları da okuyabilirsiniz. Python'da çalışır 3.6.

import os
import subprocess

process = subprocess.Popen(command, stdout=subprocess.PIPE)
list_of_byte_strings = process.stdout.readlines()

Bunu python3 ile denedim ve çalıştı, kaynak

def output_reader(proc):
    for line in iter(proc.stdout.readline, b''):
        print('got line: {0}'.format(line.decode('utf-8')), end='')


def main():
    proc = subprocess.Popen(['python', 'fake_utility.py'],
                            stdout=subprocess.PIPE,
                            stderr=subprocess.STDOUT)

    t = threading.Thread(target=output_reader, args=(proc,))
    t.start()

    try:
        time.sleep(0.2)
        import time
        i = 0

        while True:
        print (hex(i)*512)
        i += 1
        time.sleep(0.5)
    finally:
        proc.terminate()
        try:
            proc.wait(timeout=0.2)
            print('== subprocess exited with rc =', proc.returncode)
        except subprocess.TimeoutExpired:
            print('subprocess did not terminate in time')
    t.join()

Rômulo'nun cevabındaki aşağıdaki değişiklik benim için Python 2 ve 3'te (2.7.12 ve 3.6.1) çalışır:

import os
import subprocess

process = subprocess.Popen(command, stdout=subprocess.PIPE)
while True:
  line = process.stdout.readline()
  if line != '':
    os.write(1, line)
  else:
    break

Alt işlem modülüne eklendiğinde Dunno, ancak Python 3 ile aşağıdakileri kullanmanız gerekir proc.stdout.splitlines():

for line in proc.stdout.splitlines():
   print "stdout:", line