завантажуйте файл через http, лише якщо його змінено з моменту останнього оновлення

Мені потрібно завантажити файл з HTTP-сервера, але тільки якщо він змінився з моменту останнього завантаження (наприклад, через If-Modified-Sinceзаголовок). Мені також потрібно використовувати власне ім'я для файлу на своєму диску.

Який інструмент я можу використовувати для цього завдання в Linux?

wget -Nне може бути використаний, тому що -Nне може бути використаний з -O.

Подумайте про використання curlзамість wget:

curl -o "$file" -z "$file" "$uri"

man curl каже:

-z/ --time-cond <дата виразу>

(HTTP / FTP) Попросіть файл, який було змінено пізніше зазначеного часу та дати, або файл, який був змінений до цього часу. Вираз дати може бути різного роду рядками дати або, якщо він не відповідає жодним внутрішнім, він намагається отримати час із заданого імені файлу.

Якщо $fileце не обов'язково існує, вам потрібно буде -zумовно використовувати прапор, використовуючи test -e "$file":

if test -e "$file"
then zflag="-z '$file'"
else zflag=
fi
curl -o "$file" $zflag "$uri"

(Зверніть увагу, що ми не цитуємо розширення $zflagтут, оскільки хочемо, щоб воно було розбито на 0 або 2 лексеми).

Якщо ваша оболонка підтримує масиви (наприклад, Bash), у нас є більш безпечна і чиста версія:

if test -e "$file"
then zflag=(-z "$file")
else zflag=()
fi
curl -o "$file" "${zflag[@]}" "$uri"

Перемикач wget -Nотримує файл лише в тому випадку, якщо він змінився, тому можливим підходом було б використовувати простий -Nперемикач, який отримає файл, якщо йому потрібно, але залишить його з неправильним ім'ям. Потім створіть жорстке посилання за допомогою ln -Pкоманди, щоб прив'язати його до "файлу" з правильним ім'ям. Зв'язаний файл має ті самі метадані, що й оригінал.

Єдине обмеження полягає в тому, що ви не можете мати жорсткі посилання через межі файлової системи.

Сценарій Python 3.5+ для обертання команди curl:

import argparse
import pathlib

from subprocess import run
from itertools import chain

parser = argparse.ArgumentParser()
parser.add_argument('url')
parser.add_argument('filename', type=pathlib.Path)
args = parser.parse_args()

run(chain(
    ('curl', '-s', args.url),
    ('-o', str(args.filename)),
    ('-z', str(args.filename)) if args.filename.exists() else (),
))

Аналогічний підхід до " перевірки дати " (з "curl - time-cond") передбачає завантаження відповідно до порівняння розміру файлу, тобто завантажувати лише в тому випадку, якщо локальний файл має інший розмір, ніж віддалений файл .

Це корисно, наприклад, коли процес завантаження не вдався посередині , і, таким чином, локальний завантажений файл отримує новішу дату, ніж віддалений файл, але він фактично пошкоджений, і потрібно повторне завантаження:

local_file_size=$([[ -f ${FILE_NAME} ]] && wc -c < ${FILE_NAME} || echo "0")
remote_file_size=$(curl -sI ${FILE_URL} | awk '/Content-Length/ { print $2 }' | tr -d '\r' )

if [[ "$local_file_size" -ne "$remote_file_size" ]]; then
    curl -o ${FILE_NAME} ${FILE_URL}
fi

Параметр "curl -z / --time-cond" (що було запропоновано в іншій відповіді) не завантажуватиме віддалений файл у цьому випадку (тому що в локальному файлі є більш нова дата), але цей сценарій " перевірки розміру " буде!