Зчитування потокового введення з subprocess.communicate ()

Я використовую Python's subprocess.communicate() для читання stdout із процесу, який триває близько хвилини.

Як я можу роздрукувати кожен рядок цього процесу stdout в режимі потокового передавання, щоб я міг бачити результат, як він генерується, але все одно блокувати процес, що закінчується, перш ніж продовжувати?

subprocess.communicate() з'являється, щоб дати всі вихідні дані відразу.

Зверніть увагу, я думаю , що метод Дж. Ф. Себастьяна (нижче) кращий.

Ось простий приклад (без перевірки на наявність помилок):

import subprocess
proc = subprocess.Popen('ls',
                       shell=True,
                       stdout=subprocess.PIPE,
                       )
while proc.poll() is None:
    output = proc.stdout.readline()
    print output,

Якщо lsзакінчується занадто швидко, тоді цикл while може закінчитися до того, як ви прочитаєте всі дані.

Ви можете зловити залишок у stdout таким чином:

output = proc.communicate()[0]
print output,

Щоб отримати підпроцес вихідний рядок за рядком, як тільки підпроцес очистить свій буфер stdout:

#!/usr/bin/env python2
from subprocess import Popen, PIPE

p = Popen(["cmd", "arg1"], stdout=PIPE, bufsize=1)
with p.stdout:
    for line in iter(p.stdout.readline, b''):
        print line,
p.wait() # wait for the subprocess to exit

iter()використовується для читання рядків, як тільки вони написані, щоб обійти помилку попереднього читання в Python 2 .

Якщо stdout підпроцесу використовує буферизацію блоків замість буферизації рядків у неінтерактивному режимі (що призводить до затримки виводу до тих пір, поки буфер дитини не заповниться або явно не очиститься дитиною), тоді ви можете спробувати примусити небуферований вихід, використовуючи pexpect , ptyмодулі або unbuffer, stdbuf, scriptутиліти , см Q: Чому б не просто використовувати трубу (POPEN ())?

Ось код Python 3:

#!/usr/bin/env python3
from subprocess import Popen, PIPE

with Popen(["cmd", "arg1"], stdout=PIPE, bufsize=1,
           universal_newlines=True) as p:
    for line in p.stdout:
        print(line, end='')

Примітка: На відміну від Python 2, який виводить підпроцеси bytestring як є; Python 3 використовує текстовий режим (вихід cmd декодується за допомогою locale.getpreferredencoding(False)кодування).

Я вважаю, що найпростіший спосіб збору результатів процесу в потоковому режимі такий:

import sys
from subprocess import *
proc = Popen('ls', shell=True, stdout=PIPE)
while True:
    data = proc.stdout.readline()   # Alternatively proc.stdout.read(1024)
    if len(data) == 0:
        break
    sys.stdout.write(data)   # sys.stdout.buffer.write(data) on Python 3.x

Функція readline()or read()повинна повертати порожній рядок на EOF лише після завершення процесу - інакше вона заблокує, якщо немає чого читати ( readline()включає новий рядок, тому для порожніх рядків вона повертає "\ n"). Це дозволяє уникнути незручного остаточного communicate()виклику після циклу.

На файлах з дуже довгими рядками read() може бути кращим зменшити максимальне використання пам'яті - кількість переданих йому даних є довільною, але виключення цього призводить до зчитування всього виводу конвеєра одночасно, що, мабуть, не бажано.

Якщо ви хочете неблокуючий підхід, не використовуйте process.communicate(). Якщо для subprocess.Popen()аргументу встановлено stdoutзначення PIPE, ви можете читати process.stdoutта перевіряти, чи процес все ще працює за допомогою process.poll().

Якщо ви просто намагаєтесь передати висновок у реальному часі, важче стати простішим, ніж це:

import subprocess

# This will raise a CalledProcessError if the program return a nonzero code.
# You can use call() instead if you don't care about that case.
subprocess.check_call(['ls', '-l'])

Див. Документи для subprocess.check_call () .

Якщо вам потрібно обробити вихідні дані, звичайно, прокрутіть його. Але якщо ви цього не зробите, просто будьте простими.

Змінити: JF Себастьян вказує як на те, що за замовчуванням параметри stdout і stderr переходять до sys.stdout і sys.stderr, і що це не вдасться, якщо sys.stdout і sys.stderr будуть замінені (скажімо, для збору вихідних даних у тести).

myCommand="ls -l"
cmd=myCommand.split()
# "universal newline support" This will cause to interpret \n, \r\n and \r     equally, each as a newline.
p = subprocess.Popen(cmd, stderr=subprocess.PIPE, universal_newlines=True)
while True:    
    print(p.stderr.readline().rstrip('\r\n'))

Додавання іншого рішення python3 з кількома невеликими змінами:

1. Дозволяє вловити код виходу з процесу оболонки (мені не вдалося отримати код виходу під час використання withконструкції)
2. Також труби виводяться в реальному часі

import subprocess
import sys
def subcall_stream(cmd, fail_on_error=True):
    # Run a shell command, streaming output to STDOUT in real time
    # Expects a list style command, e.g. `["docker", "pull", "ubuntu"]`
    p = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, bufsize=1, universal_newlines=True)
    for line in p.stdout:
        sys.stdout.write(line)
    p.wait()
    exit_code = p.returncode
    if exit_code != 0 and fail_on_error:
        raise RuntimeError(f"Shell command failed with exit code {exit_code}. Command: `{cmd}`")
    return(exit_code)