Чи слід зберігати тимчасові файли в / tmp або поточному робочому каталозі?

У мене є програма, якій потрібно генерувати тимчасові файли. Він написаний для кластерних машин.

Якщо я зберегла ці файли у загальносистемному тимчасовому каталозі (наприклад:) /tmp, деякі користувачі скаржилися, що програма не працює, оскільки вони не мали належного доступу до / tmp. Але якщо я зберегла ці файли у робочому каталозі, ці користувачі також поскаржилися, що не хочуть бачити ці загадкові файли.

Яка з них є кращою практикою? Чи потрібно наполягати на тому, що заощадження /tmp- це правильний підхід і захищати будь-який збій як "працює за призначенням" (тобто запитати у адміністратора належного дозволу / доступу)?

Тимчасові файли повинні зберігатися у тимчасовому каталозі операційної системи з кількох причин:

• Операційна система дозволяє дуже легко створювати ці файли, гарантуючи, що їх імена будуть унікальними .

• Більшість програм резервного копіювання знає, що це каталоги, що містять тимчасові файли, і пропускає їх. Якщо ви використовуєте поточний каталог, це може мати важливий вплив на розмір покрокових резервних копій, якщо резервні копії робляться часто.

• Тимчасовий каталог може знаходитися на іншому диску або в оперативній пам'яті, що робить доступ для читання-запису набагато швидше .

• Тимчасові файли часто видаляються під час перезавантаження (якщо вони знаходяться в ramdisk, вони просто втрачаються). Це зменшує ризик нескінченного зростання, якщо ваш додаток не завжди видаляє тимчасові файли правильно (наприклад, після збоїв).

  Очищення тимчасових файлів з робочого каталогу може легко заплутатися, якщо вони зберігаються разом із файлами програм та користувачів. Ви можете усунути цю проблему, створивши окремий каталог у поточному каталозі, але це може призвести до іншої проблеми:

• Довжина шляху може бути занадто довгою на деяких платформах. Наприклад, для Windows обмеження шляху для деяких API, фреймворків та програм є жахливим , а це означає, що ви можете легко досягти такого обмеження, якщо поточний каталог вже знаходиться в ієрархії дерев і імена ваших тимчасових файлів занадто довгі.

• На серверах моніторинг зростання тимчасового каталогу часто робиться відразу. Якщо ви використовуєте інший каталог, він може не контролюватися, а моніторинг всього диска не допоможе легко зрозуміти, що саме тимчасові файли займають все більше місця.

Щодо помилок, у яких відмовлено у доступі, переконайтеся, що ви дозволите операційній системі створити для вас тимчасовий файл. Операційна система може, наприклад, знати, що для даного користувача каталог, який не використовується /tmpабо C:\Windows\tempповинен використовуватися; Таким чином, отримуючи прямий доступ до цих каталогів, ви дійсно можете зіткнутися з помилкою, у якій відмовлено у доступі.

Якщо ви отримуєте заборонений доступ навіть під час використання дзвінка операційної системи, ну це просто означає, що машина неправильно налаштована; це вже було пояснено Blrfl . Адже адміністратор системи повинен налаштувати машину; не потрібно змінювати свою заявку.

Створення тимчасових файлів є простою у багатьох мовах. Кілька прикладів:

• Bash:

  # The next line will create a temporary file and return its path.
  path="$(mktemp)"
  echo "Hello, World!" > "$path"

• Пітон:

  import tempfile
  
  # Creates a file and returns a tuple containing both the handle and the path.
  handle, path = tempfile.mkstemp()
  with open(handle, "w") as f:
      f.write("Hello, World!");

• C #:

  // Creates a file and returns the path.
  var path = Path.GetTempFileName();
  File.WriteAllText(path, "Hello, World!");

• PHP:

  # Creates a file and returns the handle.
  $temp = tmpfile();
  fwrite($temp, "Hello, World!");
  fclose($temp);

• Ruby:

  require "tempfile"
  
  # Creates a file and returns the file object.
  file = Tempfile.new ""
  file << "Hello, World!"
  file.close

Зауважте, що в деяких випадках, таких як PHP та Ruby, файл видаляється, коли ручка закрита. Це додаткова перевага використання бібліотек у комплекті з мовою / рамкою.

Чи потрібно наполягати на збереженні до / tmp - це правильний підхід та захист від будь-якого збою як "працює за призначенням" (тобто запитати у вашого адміністратора про належний доступ до дозволу)?

Для цього існують стандарти, і найкраще, що ви можете зробити, - це їх відповідати.

POSIX, який супроводжується майже всіма операційними системами без мейнфреймів будь-якої значущості, з якими ви, швидше за все, зіткнетеся, має положення для створення в каталозі тимчасових файлів, що мають однозначні імена, з використанням значень за замовчуванням, які можуть бути налаштовані середовищем:

• stdio.hЗаголовок C може додатково включати P_tmpdirмакрос, який називає тимчасовий каталог системи.
• TMPDIRє змінною канонічного середовища для зміни розташування тимчасових файлів. До POSIX використовувались інші змінні, тому я схильний переходити з першою з них або TMP, TEMPDIRі TEMPвона має значення, розглядаючи і використовуючи системний замовчування, якщо жодної з них не існує.
• Функції mkstemp()і tempfile()будуть генерувати унікальні тимчасові файли.

Якщо вашим користувачам заборонено створювати тимчасові файли, система або неправильно налаштована, або адміністратори не дають зрозуміти, яка їх політика щодо таких речей. У цих випадках ви будете дуже твердими, сказавши, що ваша програма відповідає усталеному стандарту портативності і що її поведінку можна змінити, використовуючи змінні середовища, які стандарт визначає.

Temp-файл-каталог залежить від операційної системи / середовища. Наприклад, веб-сервери-temp dir відокремлюються від os-temp-dir з міркувань безпеки.

Під ms-windows кожен користувач має власний темп-реж.

для цього слід використовувати createTempFile (), якщо така функція доступна.

Попередні відповіді, хоча і правильні, не вірні для більшості масштабних комп'ютерних кластерів.

Комп'ютерні кластери не завжди дотримуються стандартних умов для машин, як правило, з поважних причин, і немає сенсу обговорювати це з систематинами.

Ваш поточний каталог посилається на центральну файлову систему, до якої можна отримати доступ через мережу. Це не тільки повільно, але також навантажує систему для решти користувачів, тому не слід користуватися нею, якщо ви не пишете багато і не зможете відновитись, якщо робота завершиться.

У обчислювальних вузлах є власний жорсткий диск, тобто найшвидша наявна файлова система та те, що ви повинні використовувати. Документація кластера повинна говорити про те, що це, як правило /scratch, /tmp/[jobid]або якась нестандартна змінна середовище ( $SNIC_TMPв одній із тих, які я використовую).

Отже, те, що я рекомендую, - це зробити його налаштованим користувачем. Значення за замовчуванням можуть бути першими, до яких ви маєте доступ до запису:

• $TMPDIR
• tmpfile
• /tmp
• .

Але очікуйте, що при такому підході низький показник успіху, і переконайтеся, що ви маєте велике попередження про жир.

Редагувати: я додам ще одну причину змусити його встановити користувача. Один з моїх кластерів $TMPDIRвстановив /scratch, що це доступний для запису користувачем та на локальному жорсткому диску. Але в документації сказано, що все, що ви пишете поза, /scratch/[jobid]може бути видалено в будь-якій точці, навіть у середині пробігу. Отже, якщо ви будете дотримуватися стандартів і довіряти $TMPDIR, ви зіткнетеся з випадковими збоями, дуже важкими для налагодження. Отже, ви можете прийняти $TMPDIR, але не довіряти цьому.

У деяких інших кластерах ця змінна правильно налаштована, тому ви можете додати опцію, щоб явно довіряти $TMPDIR, інакше надсилати велике, жирне попередження.

У багатьох програмах слід розглянути можливість розміщення тимчасових файлів у ( $XDG_RUNTIME_DIRабо $XDG_CACHE_HOMEінші dir-файли XDG призначені для тимчасових файлів). Інструкції щодо їх обчислення, якщо вони явно не передані в навколишнє середовище, див. Специфікацію на основі XDG або знайдіть бібліотеку, яка вже реалізує цю частину.

Однак зауважте, що $XDG_RUNTIME_DIRце нове доповнення, і немає стандартних резервних можливостей для старих систем через проблеми безпеки.

Якщо жодне з них не підходить, то /tmpце правильне місце. Ніколи не слід вважати, що поточний каталог можна записати.

Це більше схоже на альтернативу, але ви можете від’єднати () файл негайно після fopen (). Це залежить від способу використання курси.

Від’єднання файлів, якщо це можна зробити, допомагає декількома способами:

• файл не бачив - користувач не бачить його.
• файл не видно з інших процесів - немає жодного шансу, щоб інший процес помилково змінив файл.
• легке очищення при збої програми.

Файли повинні бути створені в / tmp. Якщо користувач не має прав на створення файлу там, це означає, що система не налаштована.

Файли неможливо створити в домашньому каталозі користувачів. Багато користувачів, такі як "ніхто", "www-data" та багато інших, не мають права писати у своїх домашніх довідниках, або вони навіть chroot () - ред. Зауважте, що навіть у середовищі chroot / tmp все ще існує.