Як точно працює трубопровід / перенаправлення в Linux?

У мене є ці три приклади перенаправлення stdin / stdout, лише один з них працює так, як і призначений. Я хотів би, якщо хтось може мені це пояснити.

Мета - сортувати вміст у file1 та зберегти зміни до того самого файлу.

1. сортувати файл1 | tee file1> / dev / null --------> Це працює

2. сортувати файл1 | tee file1 --------> Зміст file1 буде стерто

3. сортувати файл1 | tee file1> file2 --------> Зміст file1 буде стерто

PS. трійник копіює стандартний вхід у кожен файл, а також на стандартний вихід.

Що змушує працювати перший приклад?

Згідно з моїми тестами на Debian Wheezy, всі 3 сценарії можуть призвести до обох результатів (файл1 сортується і записується назад до себе АБО нічого не сортується і нічого не записується у файл1.

Я вважаю, що це нормальна поведінка і пов'язане з тим, як Linux працює з файлами. Подумайте про команду - команда сортування починає читати файл1 і негайно відправляє його вихід у tee. Трійник зчитує вихід, записує його назад у файл1 та друкує його в / dev / null. У випадку, якщо сортування досить швидке, щоб прочитати весь файл1, tee отримує відсортований вихід. Але у випадку, якщо трійник заблокує файл, він стирає його (ти завжди стирає вихідний файл, за винятком випадків, коли використовується опція додавання), і це майже все, що відбувається у всіх ваших 3 сценаріях.

Щоб скоротити його, скажемо, що іноді сортування не є достатньо швидким для читання файлу1. У такому випадку трійник стирає файл, перш ніж сортування може прочитати його.

Я рекомендую наступну процедуру:

cat file1 | sort > /tmp/sorting.tmp; mv /tmp/sorting.tmp file1

Якщо ви хочете побачити відсортований вихід на stdout, зробіть це так:

cat file1 | sort | tee /tmp/sorting.tmp; mv /tmp/sorting.tmp file1

Недоцільно дозволити 2 різні команди, що працюють з 1 файлом у багатопроцесорних системах - ви ніколи не можете бути впевнені, яка з них виконується першою. У єдиній потоковій системі поведінка була б різною - послідовною.

Я сумніваюся, що така поведінка передбачувана (і, безумовно, від цього не залежатиме). teeКоманда , ймовірно , починається новий процес , щоб відправити свій внесок в «інше» призначення. Операційна система буде «буферувати» вихід, поки не досягне точки, де він створює файл призначення і записує свій тимчасовий буфер у файл. Точний момент, коли це станеться (і замінить джерело), ​​ймовірно, залежить від:

• Розмір файлу та наявна пам'ять для буфера
• Час, що минув
• Якщо вхід з труби teeзакінчується

Це йде глибше, ніж bash: Це те, як програми bashпочинають роботу. Оболонка просто інтерпретує команди, які ви вводите, і запускає програми, необхідні для виконання команд. Оболонка не має контролю над тим, як працює кожна програма, а ще менше, як ці програми взаємодіють. Попросити програму (або набір програм) взяти дані з вхідного файлу та записати результат у той самий вхідний файл у тому самому реченні - це відповідальність користувача.

Не забувайте, що bash - це лише інтерпретатор команд користувача: це лише shellнавколо операційної системи для перетворення намірів користувача в системні виклики.

І це теж задокументовано ! Або цей лист , який вирішує подібні проблеми. Або ця нитка StackOverflow . Або цей потік сервера за замовчуванням .

Зверніть увагу , що це може статися і з перенаправленням stdin: якщо взяти входи команди з файлу $ myprog < commandfile. Якщо myprogпише в commandfile, немає гарантії, що всі commandfileкоманди будуть виконані .

Дійсно базовою аналогією було б щось подібне до цього списку інструкцій:

- Execute the instructions step by step
- Dip this instruction list in a bucket of black paint
- Type in the following commands:
  find /etc -type f -exec cat '{}' \; | tr -c '.[:digit:]' '\n' \
  | grep '^[^.][^.]*\.[^.][^.]*\.[^.][^.]*\.[^.][^.]*$'

Я б уявив, що ти зробиш копію спочатку? (команда взята з Посібника з розширеного сценарію Bash )

Отже, ви хочете, щоб оригінальний вміст файла залишався, додаючи файл із змінами?

tee over пише за замовчуванням, спробуйте використати прапор -a, щоб додати файл із змінами.

sort file1 | tee file1 > tmp && mv file1 original && mv tmp file1

Ви можете записати файл у заповнювач, перейменувати оригінал на резервну копію, а потім перемістити його в оригінал.