Як передати рядок у subprocess.Popen (використовуючи аргумент stdin)?

Якщо я виконую наступне:

import subprocess
from cStringIO import StringIO
subprocess.Popen(['grep','f'],stdout=subprocess.PIPE,stdin=StringIO('one\ntwo\nthree\nfour\nfive\nsix\n')).communicate()[0]

Я отримав:

Traceback (most recent call last):
  File "<stdin>", line 1, in ?
  File "/build/toolchain/mac32/python-2.4.3/lib/python2.4/subprocess.py", line 533, in __init__
    (p2cread, p2cwrite,
  File "/build/toolchain/mac32/python-2.4.3/lib/python2.4/subprocess.py", line 830, in _get_handles
    p2cread = stdin.fileno()
AttributeError: 'cStringIO.StringI' object has no attribute 'fileno'

Мабуть, об'єкт cStringIO.StringIO не збивається досить близько до файлової качки, щоб відповідати підпроцесу. Як мені це подолати?

Popen.communicate() документація:

Зауважте, що якщо ви хочете надіслати дані до stdin процесу, вам потрібно створити об'єкт Popen за допомогою stdin = PIPE. Аналогічно, щоб отримати що-небудь інше, ніж None, в результатах кортежу, вам також потрібно вказати stdout = PIPE та / або stderr = PIPE.

Заміна os.popen *

    pipe = os.popen(cmd, 'w', bufsize)
    # ==>
    pipe = Popen(cmd, shell=True, bufsize=bufsize, stdin=PIPE).stdin

Попередження Використовуйте спілкування (), а не stdin.write (), stdout.read () або stderr.read (), щоб уникнути тупикових ситуацій через заповнення будь-якого іншого буфера труб ОС і блокування дочірнього процесу.

Тож ваш приклад можна записати так:

from subprocess import Popen, PIPE, STDOUT

p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)    
grep_stdout = p.communicate(input=b'one\ntwo\nthree\nfour\nfive\nsix\n')[0]
print(grep_stdout.decode())
# -> four
# -> five
# ->

У поточній версії Python 3 ви можете використовувати subprocess.runдля передачі введення як рядок до зовнішньої команди та отримання її статусу виходу, а його вихід у вигляді рядка назад за один виклик:

#!/usr/bin/env python3
from subprocess import run, PIPE

p = run(['grep', 'f'], stdout=PIPE,
        input='one\ntwo\nthree\nfour\nfive\nsix\n', encoding='ascii')
print(p.returncode)
# -> 0
print(p.stdout)
# -> four
# -> five
# -> 

Я вирішив це рішення:

>>> p = subprocess.Popen(['grep','f'],stdout=subprocess.PIPE,stdin=subprocess.PIPE)
>>> p.stdin.write(b'one\ntwo\nthree\nfour\nfive\nsix\n') #expects a bytes type object
>>> p.communicate()[0]
'four\nfive\n'
>>> p.stdin.close()

Чи є кращий?

Я трохи здивований, що ніхто не запропонував створити трубу, що, на мій погляд, є найпростішим способом передати рядок до stdin підпроцесу:

read, write = os.pipe()
os.write(write, "stdin input here")
os.close(write)

subprocess.check_call(['your-command'], stdin=read)

Є прекрасне рішення, якщо ви використовуєте Python 3.4 або вище. Використовуйте inputзамість stdinаргументу, який приймає аргумент байтів:

output = subprocess.check_output(
    ["sed", "s/foo/bar/"],
    input=b"foo",
)

Це працює check_outputі run, але не callабо check_callз якоїсь - то причини.

Я використовую python3 і з'ясував, що вам потрібно кодувати рядок, перш ніж ви зможете передати її в stdin:

p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=PIPE)
out, err = p.communicate(input='one\ntwo\nthree\nfour\nfive\nsix\n'.encode())
print(out)

Мабуть, об'єкт cStringIO.StringIO не збивається досить близько до файлової качки, щоб відповідати підпроцесу.

Боюся, що немає. Труба - це концепція ОС низького рівня, тому вона абсолютно потребує файлового об'єкта, який представлений дескриптором файлів на рівні ОС. Ваш спосіб вирішення правильний.

from subprocess import Popen, PIPE
from tempfile import SpooledTemporaryFile as tempfile
f = tempfile()
f.write('one\ntwo\nthree\nfour\nfive\nsix\n')
f.seek(0)
print Popen(['/bin/grep','f'],stdout=PIPE,stdin=f).stdout.read()
f.close()

Будьте обережні, що Popen.communicate(input=s)може доставити вам проблеми, якщо sвін занадто великий, тому що, мабуть, батьківський процес захистить його перед тим, як форсувати дочірній підпроцес. та пов’язану тут документацію ). У моєму конкретному випадку це sбув генератор, який спочатку повністю розширився і лише потім був записаний stdinтак, щоб батьківський процес був величезним безпосередньо перед тим, як народилася дитина, і не залишилося пам'яті, щоб розщедрити його:

File "/opt/local/stow/python-2.7.2/lib/python2.7/subprocess.py", line 1130, in _execute_child self.pid = os.fork() OSError: [Errno 12] Cannot allocate memory

"""
Ex: Dialog (2-way) with a Popen()
"""

p = subprocess.Popen('Your Command Here',
                 stdout=subprocess.PIPE,
                 stderr=subprocess.STDOUT,
                 stdin=PIPE,
                 shell=True,
                 bufsize=0)
p.stdin.write('START\n')
out = p.stdout.readline()
while out:
  line = out
  line = line.rstrip("\n")

  if "WHATEVER1" in line:
      pr = 1
      p.stdin.write('DO 1\n')
      out = p.stdout.readline()
      continue

  if "WHATEVER2" in line:
      pr = 2
      p.stdin.write('DO 2\n')
      out = p.stdout.readline()
      continue
"""
..........
"""

out = p.stdout.readline()

p.wait()

p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)    
p.stdin.write('one\n')
time.sleep(0.5)
p.stdin.write('two\n')
time.sleep(0.5)
p.stdin.write('three\n')
time.sleep(0.5)
testresult = p.communicate()[0]
time.sleep(0.5)
print(testresult)

На Python 3.7+ зробіть це:

my_data = "whatever you want\nshould match this f"
subprocess.run(["grep", "f"], text=True, input=my_data)

і ви, ймовірно, захочете додати, capture_output=Trueщоб отримати результат виконання команди у вигляді рядка.

У старих версіях Python замініть text=Trueна universal_newlines=True:

subprocess.run(["grep", "f"], universal_newlines=True, input=my_data)