Коли я перенаправляю висновок команди у файл (наприклад, echo Hello > file), чи гарантовано буде мати такі дані відразу після виходу команди? Або все ще є дуже маленьке вікно між виходами команди та записаними у файл даними? Я хотів би прочитати файл відразу після завершення команди, але я не хочу читати порожній файл.

Існує кілька шарів буферів / кеш-пам'яток.

1. Кеш процесора.

   Дані складають байт у байт та зберігають у кеш-процесорі. Якщо кеш процесора заповнений, а дані не були доступні деякий час, блок, що містить наші дані, може записатись у основну пам'ять. Вони здебільшого приховані від прикладних програмістів.

2. Вбудовані буфери.

   У процесі збирання даних є деяка частина пам'яті, тому нам потрібно зробити якомога менше запитів до ОС, оскільки це порівняно дорого. Процес копіює дані в ці буфери, які знову можуть бути підкріплені кешами процесора, тому немає гарантії, що дані будуть скопійовані в основну пам'ять. Програмі потрібно явно очистити ці буфери, наприклад, використовуючи fclose (3) або fsync (3). Функція exit (3) також робить це до завершення процесу, тоді як функція _exit (2) не робить , тому на сторінці керівництва для цієї функції є велике попередження, щоб викликати її, лише якщо ви знаєте, що ви є робити.

3. Буфери ядра

   Потім ОС зберігає власний кеш, щоб мінімізувати кількість запитів, які йому потрібно відправити на диски. Цей кеш не належить жодному процесу, тому дані в ньому можуть належати процесам, які вже закінчились, і оскільки всі звернення проходять тут, наступна програма побачить дані, якщо вони дійшли сюди. Ядро записує ці дані на диски, коли встигне це зробити або коли це буде чітко запитано.

4. Кеш диска

   Самі дискові диски також зберігають кеш-пам'ять, щоб прискорити доступ. Вони записуються досить швидко, і є команда записати решта даних у кешах та повідомити, коли це завершено, що ОС використовує при відключенні, щоб переконатися, що дані не залишаються неписаними перед вимкненням живлення.

Для вашої програми достатньо, щоб дані були зареєстровані в буферах ядра (фактичні дані все ще можуть жити в кешах процесора в цей момент і, можливо, не були записані в основну пам'ять): процес "ехо" закінчується, що означає, що будь-які вбудовані буфери повинні бути очищені, а дані передані в ОС, і коли ви запускаєте новий процес, тоді гарантується, що ОС поверне ті самі дані, коли запитає.

Якщо у додатку немає внутрішніх кеш-пам'яток, то зміни будуть негайно записані у файл. Те саме для вашого прикладу. Файл - це логічне утворення в пам'яті, яке буде негайно оновлено. Будь-які наступні операції над файлом побачать зміни, внесені програмою.

Однак це не означає, що зміна була записана на фізичний диск. Зміни можуть затримуватися в кешах файлової системи ОС або кеш-пам'яті обладнання. Для промивання буферів файлової системи використовуйте syncкоманду.

Я хотів би прочитати файл відразу після завершення команди, але я не хочу читати порожній файл.

Тут не слід стикатися з будь-якими практичними проблемами.

Чи буде буфер автоматично змиватися на диск, коли процес закінчується?

Загалом відповідь - ні .

Це залежить від команди. Як і інші відповіді, згадується, що якщо команда не завантажує внутрішньо дані, всі дані будуть доступні, коли команда припиняється.

Але більшість, якщо не всі, стандартні бібліотеки вводу-виводу роблять буферні вибудовування за замовчуванням (певною мірою) і дають різні гарантії щодо автоматичного промивання буферів, коли програма закривається.

C гарантує, що нормальний вихід змиває буфери . "Нормальний вихід" означає, що exitвикликається - явно, або повертаючись з main. Однак ненормальний вихід може обійти цей виклик (і тому залишити незамкнутими буфери позаду).

Ось простий приклад:

#include <signal.h>
#include <stdio.h>

int main() {
    printf("test");
    raise(SIGABRT);
}

При компіляції цього і виконати його, testбуде НЕ обов'язково бути записані на стандартний висновок.

Інші мови програмування дають ще менші гарантії: наприклад, Java не закінчується автоматичним змиванням після закінчення програми . Якщо вихідний буфер містить незавершений рядок, він може, таким чином, втрачатися, якщо тільки не System.out.flush()було викликано явно.

Тим НЕ менше, ваше тіло питання питає що - то трохи інше: якщо дані надходять в файл на всіх , він повинен зробити це відразу ж після команди припиняється ( при умови застережень , описаних в інших відповідях).

Я думаю, що жодне питання ще не вирішує це питання достатньо:

Я хотів би прочитати файл відразу після завершення команди, але я не хочу читати порожній файл.

Як пояснюють інші відповіді, добре поводиться програма промиває свої внутрішні буфери файлів до того, як процес нормально завершиться . Після цього дані все ще можуть затримуватися в ядрах або апаратних буферах, перш ніж вони будуть записані в постійне зберігання. Однак семантика файлової системи Linux гарантує, що всі процеси бачать вміст файлів так само, як і ядро, включаючи внутрішні буфери ¹ .

Зазвичай це реалізується, маючи щонайменше один буфер внутрішнього ядра на один об'єкт файлу та вимагаючи всього доступу до файлу, щоб пройти через цей буфер.

• Якщо процес читає файл, ядро ​​подасть вміст буфера процесу, якщо запитувана частина файлу в даний час знаходиться в буфері; якщо це не так, ядро ​​отримає дані з базового носія інформації та розмістить його всередині буфера, а потім повернеться до попереднього кроку.

• Якщо процес записує у файл, дані спочатку поміщаються всередину в буфер ядра для цього файлу. Згодом вміст буфера буде передано у сховище. Тим часом доступ до читання задовольняється з того самого буфера (див. Вище).

¹ Принаймні для звичайних файлів, каталогів та символічних посилань. FIFO та розетки - це інша справа, оскільки їхній вміст ніколи не зберігається постійно. Є окремі випадки звичайних файлів, вміст яких залежить від того, хто запитує; приклади - файли у procfs та sysfs (подумайте, /proc/selfщо є символічним посиланням на ідентифікатор процесу процесу, що читає символьне посилання).

Якщо припустити, що ваша команда виконується якоюсь програмою за допомогою бібліотеки виконання C, в якийсь момент вона повинна викликати, fcloseщоб закрити відкритий файл.

Сторінка man для fcloseфункції C говорить:

ПРИМІТКИ Зауважте, що fclose () промиває лише буфери простору користувача, надані бібліотекою C. Щоб забезпечити фізичне зберігання даних на диску, буфери ядра також повинні бути очищені, наприклад, синхронізацією (2) або fsync (2).

і сторінка man для fflushмає однакову ноту. Сторінка людини для close:

Успішне закриття не гарантує, що дані були успішно збережені на диску, як ядро ​​відкладає. У файловій системі не звичайно промивати буфери, коли потік закритий. Якщо вам потрібно бути впевненим, що дані зберігаються фізично, використовуйте функцію fsync (2). (Це буде залежати від апаратного забезпечення диска в цей момент.)

Зауважте, що дані доступні для інших процесів, навіть якщо вони не синхронізовані з диском. Можливо, це вже досить добре для вас.

Якщо ви сумніваєтесь, напишіть тест.

Коли я перенаправляю висновок команди у файл (наприклад, echo Hello > file), чи гарантовано буде мати такі дані відразу після виходу команди?

Так. Оболонка відкриває вихідний файл і echoвиводить його безпосередньо. Після того, як команда завершиться, вона виконана.

Або все ще є дуже маленьке вікно між виходами команди та записаними у файл даними?

Чи є дані вже на носіях - інша справа, яка має значення лише в тому випадку, коли після цього відбувається збій апаратури або ви оглядаєте живий розділ за допомогою якогось криміналістичного програмного забезпечення, минаючи змонтовану файлову систему.

Я хотів би прочитати файл відразу після завершення команди, але я не хочу читати порожній файл.

Не хвилюйтесь, ядро ​​зберігає лише один вид файлу, незалежно від частоти його відкриття.

Як правило, будь-які дані, що належать ядру , підтримуються та очищаються ядром, період. Такі дані включають дані, передані в пам'ять ядра системним викликом, таким як write(2).

Однак якщо ваша програма (наприклад, бібліотека C) виконує буферизацію поверх цього, то ядро, очевидно, не має уявлення і, отже, не гарантує його очищення.

Більше того, я не вірю, що є гарантія часу на прибирання - вона, як правило, виконується на основі "найкращих зусиль" (читай: "коли у мене є сек").

Або все ще є дуже маленьке вікно між виходами команди та записаними у файл даними?

Ні, немає.

Я хотів би прочитати файл відразу після завершення команди, але я не хочу читати порожній файл.

Ви можете прочитати остаточний вміст файлу одразу після того, як команда закінчиться, а ви ніколи не будете читати порожній файл. (У C і C ++ використовуйте системні виклики wait , waitpid , wait3 або wait4, щоб зачекати, поки програма вийде, і лише потім прочитайте файл. Якщо ви використовуєте оболонку, іншу мову програмування або бібліотеку (наприклад, бібліотека C система викликів або клас Java Process ), ймовірно, вже використовується один із цих системних викликів.)

Як показали інші відповіді та коментарі, ви можете закінчити читання порожнього файлу після виходу з програми, якщо програма вийшла, не змиваючи її внутрішні вихідні буфери (наприклад, через _exit , переривання або отримання фатального сигналу або тому, що це програма Java, яка нормально виходить). Однак ви нічого не можете зробити з цим на даний момент: неочищені дані втрачаються назавжди, додаткове очікування не відновить їх.

Так

Вибачте за те, що, можливо, ви додали ще одну зайву відповідь, але більшість, здається, зосереджена на червоній оселедці заголовка питання. Наскільки я можу сказати, питання зовсім не в буферизації, а в цьому:

Коли я переспрямую висновок команди у файл (наприклад, echo Hello> файл), чи гарантовано у файлу такі дані відразу після закінчення команди?

Так, безумовно. Використання ">", яке ви описуєте, а також "|" та "<" - це модель обробки на основі труб, на якій ґрунтується світ Unix та Linux. Ви знайдете сотні, якщо не тисячі сценаріїв, повністю залежно від такої поведінки в кожній установці Linux.

Він працює як хочеш за дизайн, і якби навіть найменший шанс на стан гонки, це було б виправлено, ймовірно, десятиліттями тому.