FFmpeg може захоплювати зображення з відео, які можна використовувати як ескізи для представлення відео. Найбільш розповсюджені способи їх дії відображаються у вікні FFmpeg .

Але я не хочу вибирати випадкові кадри через деякі інтервали. Я знайшов кілька варіантів за допомогою фільтрів на FFmpeg для зйомки змін сцени:

Фільтр thumbnailнамагається знайти найбільш репрезентативні кадри у відео:

ffmpeg -i input.mp4 -vf  "thumbnail,scale=640:360" -frames:v 1 thumb.png

і наступна команда вибирає лише кадри, які мають більш ніж 40% змін у порівнянні з попередніми (і так, ймовірно, це зміни сцени) та створює послідовність з 5 PNG.

ffmpeg -i input.mp4 -vf  "select=gt(scene\,0.4),scale=640:360" -frames:v 5 thumb%03d.png

Інформація за вищезазначені команди Фабіо Соннаті . Другий здався кращим, оскільки я міг отримати n зображень і вибрати найкраще. Я спробував це, і воно генерувало те саме зображення 5 разів.

Ще кілька розслідувань привели мене до:

ffmpeg -i input.mp4 -vf "select=gt(scene\,0.5)" -frames:v 5 -vsync vfr  out%02d.png

-vsync vfrзабезпечує отримання різних зображень. Це все ще вибирає перший кадр відео, в більшості випадків перший кадр має кредити / логотип і не має сенсу, тому я додав -ss3, щоб відкинути перші 3 секунди відео.

Моя остаточна команда виглядає так:

ffmpeg -ss 3 -i input.mp4 -vf "select=gt(scene\,0.5)" -frames:v 5 -vsync vfr out%02d.jpg

Це було найкраще, що я міг зробити. Я помітив, що оскільки я вибираю лише 5 відео, усі вони в основному з початку відео і можуть пропустити важливі сцени, які відбудуться пізніше у відео

Я хотів би вибрати вам мізки для будь-яких інших кращих варіантів.

Як щодо ідеального пошуку першого> 40% -кадрового кадру в межах кожного з 5-ти часових проміжків, де проміжки часу - це 1-й, 2-й, 3-й, 4-й та 5-й 20% відео.

Ви також можете розділити його на 6 часових проміжків і нехтувати першим, щоб уникнути кредитів.

На практиці це означатиме встановлення низької кількості кадрів у кадрі при застосуванні перевірки зміни сцени та вашого аргументу викинути перший біт відео.

...щось на зразок:

ffmpeg -ss 3 -i input.mp4 -vf "select=gt(scene\,0.4)" -frames:v 5 -vsync vfr -vf fps=fps=1/600 out%02d.jpg

Визначити змістовне важко, але якщо ви хочете, щоб N мініатюр було ефективно, що охоплює весь відеофайл, саме це я використовую для створення мініатюр при виробництві вмісту, завантаженого користувачем.

Псевдокод

for X in 1..N
  T = integer( (X - 0.5) * D / N )  
  run `ffmpeg -ss <T> -i <movie>
              -vf select="eq(pict_type\,I)" -vframes 1 image<X>.jpg`

Де:

• D - тривалість відеозапису, зчитувана ffmpeg -i <movie>окремо або ffprobeяка має гарний вихідний сценарій JSON btw
• N - загальна кількість мініатюр
• X - номер ескізу, від 1 до N
• T - часова точка мініатюри

Просто вище записано центральний кадр ключових кадрів кожного розділу фільму. Наприклад, якщо фільм триває 300, і ви хочете 3 ескізи, то він займає один ключовий кадр після 50-х, 150-х та 250-х. Для 5 мініатюр це було б 30-ті, 90-ті, 150-ті, 210-ті, 270-ті. Ви можете налаштувати N залежно від тривалості фільму D, наприклад, що 5-хвилинний фільм матиме 3 ескізи, але за 1 годину - 20 мініатюр.

Продуктивність

Кожне виклик вищезгаданої ffmpegкоманди займає частку секунди (!) Для ~ 1 Гб H.264. Це тому, що воно моментально стрибає на <time>позицію (розум -ssраніше -i) і приймає перший ключовий кадр, який практично є повним JPEG. Немає витраченого часу на візуалізацію фільму, щоб відповідати точній часовій позиції.

Подальша обробка

Ви можете змішати вище з scaleбудь-яким іншим способом зміни розміру. Ви також можете видалити суцільні кольорові рамки або спробувати змішати їх з іншими фільтрами thumbnail.

Я колись робив щось подібне, але експортував усі кадри відео (в 1 кадр в секунду) і порівняв їх з утилітою Perl, яку я виявив, яка обчислює різницю між зображеннями. Я порівнював кожен кадр з попередніми мініатюрами, і якщо він відрізнявся від усіх мініатюр, я додав його до колекції мініатюр. Перевага тут полягає в тому, що якщо ваше відео переміститься зі сцени A в B і вони повернуться до A, ffmpeg експортує 2 кадри A.

Спробуйте це

 ffmpeg -i input.mp4 -vf fps= no_of_thumbs_req/total_video_time out%d.png

За допомогою цієї команди я можу генерувати необхідну кількість ескізів, які є репрезентативними для всього відео.

Ось що я роблю, щоб генерувати періодичну мініатюру для потоків живих m3u8 для використання в якості плаката. Я виявив, що виконання безперервного завдання ffmpeg просто для створення мініатюр з'їдає весь мій процесор, тому замість цього я запускаю cronjob кожні 60 секунд, що генерує всі ескізи для моїх потоків.

#!/usr/bin/env bash

## this is slow but gives better thumbnails (takes about 1+ minutes for 20 files)
#-vf thumbnail,scale=640:360 -frames:v 1 poster.png

## this is faster but thumbnails are random (takes about 8 seconds for 20 files)
#-vf scale=640:360 -frames:v 1 poster.png
cd ~/path/to/streams

find . -type f \
  -name "*.m3u8" \
  -execdir sh -c 'ffmpeg -y -i "$0" -vf scale=640:360 -frames:v 1 "poster.png"' \
  {} \;

Якщо вам потрібно робити частіше 60 секунд (обмеження cronjob), тоді ви можете зробити whileцикл у своєму сценарії, і він буде виконуватися назавжди. Просто додайте a, sleep 30щоб змінити частоту на 30 секунд. Не рекомендую робити це з великою кількістю відео, оскільки попередній запуск може не завершитися до початку наступного.

В ідеалі з cronjob я просто запускаю його кожні 5 хвилин.