Чи варто дбати про зайвих котів?

Багато утиліт командного рядка можуть приймати свій вклад або з труби, або як аргумент імені файлу. Для довгих сценаріїв оболонки я вважаю, що запуск ланцюга з допомогою catробить його більш читабельним, особливо якщо для першої команди знадобляться багаторядкові аргументи.

Порівняйте

sed s/bla/blaha/ data \
| grep blah \
| grep -n babla

і

cat data \
| sed s/bla/blaha/ \
| grep blah \
| grep -n babla

Чи останній метод менш ефективний? Якщо так, то чи достатньо різниці для того, щоб дбати про те, чи виконується сценарій, скажімо, раз на секунду? Різниця в читанні не величезна.

"Остаточну" відповідь, безумовно, приносить вам "Безкорисне використання catнагороди" .

Мета кішки - об'єднати (або "катенувати") файли. Якщо це лише один файл, об'єднання його ні з чим - це марна трата часу і коштує вам процесу.

Миттєве котування, щоб ваш код читався по-різному, викликає ще один процес і ще один набір вхідних / вихідних потоків, які не потрібні. Зазвичай реальним стримуванням у ваших сценаріях буде неефективна циклічна обробка та актуальна обробка. У більшості сучасних систем один додатковий catне знищує вашу продуктивність, але майже завжди є інший спосіб написати свій код.

Більшість програм, як зазначаєте, здатні прийняти аргумент для вхідного файлу. Однак завжди є вбудована оболонка, <яку можна використовувати там, де очікується потік STDIN, який врятує вас один процес, виконуючи роботу в уже запущеному процесі оболонки.

Ви навіть можете бути творчими з того, де ви це пишете. Зазвичай він розміщуватиметься в кінці команди перед тим, як вказати будь-які вихідні переадресації або труби на зразок цього:

sed s/blah/blaha/ < data | pipe

Але це не повинно бути таким. Він навіть може прийти першим. Наприклад, ваш приклад код може бути записаний так:

< data \
    sed s/bla/blaha/ |
    grep blah |
    grep -n babla

Якщо читабельність сценарію викликає занепокоєння, і ваш код досить безладний, що, catяк очікується , додавання рядка для полегшення його дотримання, є й інші способи очищення коду. Один, який я багато використовую, що допомагає зробити скрипти легкими для з'ясування пізніше, - це розбиття труб на логічні набори та збереження їх у функціях. Потім код скрипту стає дуже природним, і будь-яку одну частину трубопроводу простіше налагодити.

function fix_blahs () {
    sed s/bla/blaha/ |
    grep blah |
    grep -n babla
}

fix_blahs < data

Потім можна продовжити fix_blahs < data | fix_frogs | reorder | format_for_sql. Зображення, що читає подібне, насправді легко прослідкувати, а окремі компоненти можна легко відладкувати у відповідних функціях.

Ось короткий опис деяких недоліків:

cat $file | cmd

над

< $file cmd

• По-перше, зауваження: відсутні (навмисно з метою обговорення) відсутні подвійні цитати $fileвище. У випадку cat, це завжди проблема, крім zsh; у випадку перенаправлення це лише проблема для bashабо, ksh88а для деяких інших оболонок лише тоді, коли інтерактивна (не в сценаріях).
• Найпоширенішим недоліком є ​​додатковий процес, що створюється. Зауважте, що якщо cmdвбудований, це навіть 2 процеси в деяких оболонках, як bash.
• Ще на фронті продуктивності, за винятком оболонок, де catвбудовано, що також виконуються додаткові команди (і звичайно завантажуються, і ініціалізуються (і бібліотеки, з якими також пов'язано)).
• Ще на фронті продуктивності для великих файлів, це означає , що система буде по черзі планувати catі cmdпроцеси і постійно поповнює і спустошення буфера труби. Навіть якщо cmdробить 1GBвеликі read()системні виклики в той час, контроль доведеться повернутися назад і вперед між catі cmdтому труба не може містити більше , ніж кілька кілобайт даних одночасно.
• Деякі cmds (як wc -c) можуть зробити деякі оптимізації, коли їх stdin - це звичайний файл, з яким вони не можуть працювати, cat | cmdоскільки їх stdin - це просто труба. З catі трубою, це також означає, що вони не можуть seek()знаходитися у файлі. Для таких команд, як tacабо tail, це робить величезну різницю в продуктивності, оскільки це означає, що з catними потрібно зберігати весь вхід у пам'яті.
• Версія cat $fileта навіть її більш правильна версія cat -- "$file"не працюватимуть належним чином для деяких конкретних імен файлів, таких як -( --helpабо що-небудь, починаючи з того, що -ви забудете --). Якщо хтось наполягає на використанні cat, він, ймовірно, повинен використовувати cat < "$file" | cmdзамість цього для надійності.
• Якщо $fileне вдається відкрити для читання (доступ заборонено, не існує ...), < "$file" cmdвін повідомить про послідовне повідомлення про помилку (оболонкою) і не запуститься cmd, поки cat $file | cmdвін все ще буде працювати, cmdале при цьому його stdin виглядає як порожній файл. Це також означає, що в таких речах, як не < file cmd > file2, file2не fileможе бути розблокованим, якщо його неможливо відкрити.

Поставити <fileна кінець трубопроводу менш читабельно, ніж cat fileна початку. Натуральна англійська мова читається зліва направо.

Введення <fileпочаток трубопроводу також менш читабельним , ніж кішки, я б сказав. Слово читабельніше, ніж символ, особливо символ, який, здається, вказує на неправильний шлях.

Використання catзбереже command | command | commandформат.

Одне, на що, мабуть, не відповіли інші відповіді тут, це те, що використання catподібного не є "марним" в тому сенсі, що "породжується процес сторонньої кішки, який не спрацьовує"; марно в тому сенсі, що "породжується процес кота, який робить лише непотрібну роботу".

У випадку цих двох:

sed 's/foo/bar/' somefile
<somefile sed 's/foo/bar/'

оболонка запускає процес sed, який зчитується з якогось файлу або stdin (відповідно), а потім виконує деяку обробку - вона читає, поки не потрапить у новий рядок, замінить перший 'foo' (якщо такий є) у цьому рядку на 'bar', а потім надрукує цю лінію для stdout та циклів.

У випадку:

cat somefile | sed 's/foo/bar/'

Оболонка породжує котячий відросток і сед-процес, і з'єднує котячу живучість до седдіна. Котячий процес зчитує кілька кілограмових або, можливо, мегабайтних фрагментів із файлу, а потім записує їх у свій stdout, де звідти піднімається sed sommand, як у другому прикладі вище. Поки sed обробляє цей шматок, кішка читає ще один шматок і записує його в свій stdout, щоб sed працював далі.

Іншими словами, додаткова робота, необхідна додаванням catкоманди, не є лише зайвою роботою з нересту додаткового catпроцесу, це також додаткова робота з читання та запису байтів у файл двічі замість одного. Зараз, практично кажучи, і на сучасних системах це не має великої різниці - це може змусити вашу систему зробити кілька мікросекунд непотрібної роботи. Але якщо це сценарій, який ви плануєте розповсюджувати, потенційно людям, які використовують його на машинах, на яких уже недостатньо потужних, кілька мікросекунд можуть скласти багато ітерацій.