Як працюють вектори руху при кодируванні для прогнозування MPEG?

16

У MPEG є процес, коли зображення розбивається на макроблоки, а вектор руху обчислюється для кожного з цих макроблоків. Потім ви передаєте ці вектори разом з помилками передбачення для відновлення наступного зображення у послідовності відео.

Я намагаюся зрозуміти, як це працює. Кожен макроблок має з ним пов'язаний вектор руху, який (якщо вектор [1,0]) говорить, що all the pixels in this block move 1 in the x direction and 0 in the y direction for the next frame. якщо всі вектори руху не вирівнюються правильно, це не залишить ділянки зображення без уваги (наприклад, область, де що макроблок був на першому місці)?

Наприклад, у мене з’явилося таке запитання, яке я знайшов.

Розглянемо наступне зображення в момент t:

7   7   7   7           
7   7   5   5        
7   5   5   8         
8   8   8   8           
9   9   9   9       
9   9   9   9

Це зображення було розбито на 2х2 макроблоки, і наступні вектори руху були надіслані, щоб відтворити його:

(0,0)  (0,0)  (0,1)  (-1,1)  (0,0)  (0,0)

Зображення на попередньому кроці часу, t - 1, виглядало так:

7   7   7   7           
7   7   5   4        
7   7   7   7         
7   5   8   8           
8   9   8   9       
9   9   9   9

Які помилки були передані?

Як би ви вирішили це?

— Гаманець
джерело

5

Щоб спростити вашу плутанину - є два процеси:

1. Оцінка
руху 2. Компенсація руху

Перш ніж говорити про оцінку, слід поговорити про компенсацію руху.

Скажімо, розбивається на блок . $Image_{t}(x,y)$ $Blocks_{t}[k](x',y')$

Завдання компенсації руху - виробляти з будь-якої області . $Blocks_{t}[k](x',y')$ $Image_{t-1}(x,y)$

Отже, інший блок, не обов'язково вирівняний на межі 16x16, є найкращим можливим збігом $Blocks_{t-1}[k](x'+mx,y'+my)$

Тут називають векторами руху. $mx, my$

Ми можемо обчислити похибку між ціллю і посиланням як

Е r r_{т} [к] (х, у) = Б л о c к с_{т} [к] (х^{'}, у^{'}) - Б л о c к с_{т - 1} [к] (х^{'} + м х, у^{'} + м у)

$Err_{t}[k](x,y) = Blocks_{t}[k](x',y') - Blocks_{t-1}[k](x'+mx,y'+my)$

Отже, тепер кодер в основному передає (з DCT і квантуванням) і для кожного блоку ,. $Err_{t}[k](x,y)$ ${( mx, my) }[k]$

Таким чином, у кодера є дві роботи:

1. Оцінка руху
Процес або оцінка для кожного так що мінімізовано, називається Оцінка руху. ${ mx, my }[k]$ $k$ $Err_{t}[k](x,y)$

2. Формування зображення помилки після компенсації руху
Процес побудови з пікселів зображення і називається компенсацією руху . Зображення помилки - це те, що передається. $Blocks_{t}[k](x',y')$ $I_{t}$ ${ (mx, my) }[k]$

Нарешті, декодер може самостійно здійснити компенсацію руху за допомогою векторів моїтона та зображення помилки для остаточної реконструкції зображення.

Тепер ми розуміємо кілька моментів:

Найкраща оцінка руху допомагає мінімізувати енергію, яка необхідна для передачі, а значить, оптимізує біти для заданої якості.
Однак, навіть якщо не є ідеальним або якщо сцена має значні зміни в порівнянні з останньою картиною, завжди передається приймачу - отже, реконструкція завжди досконалий (по модулю втрати, створені квантуванням). Отже, навіть якщо у вас неоптимальний вектор руху або надмірність надмірності, реконструкція все ще є ідеальною, хоча і з більшою кількістю бітів! ${ (mx, my) }[k]$ $Err_{t}[k](x,y)$
Кожен блок рух компенсується самостійно - отже, навіть якщо фактичні вектори руху будь-яких сусідніх блоків не впливають на побудову. Отже, не потрібно, щоб вектори руху були ідеально вирівняні, щоб ідеальна реконструкція була можливою. $Blocks_{t}[k](x',y')$
Хоча існує алгоритм, який досить розумний, щоб здогадуватися, що якщо має вектор руху здогад для може просто бути ближчим лише до цього. $Blocks_{t}[k]$ $( mx ,my )[k]$ $Blocks_{t}[k+1]$
Нарешті, припустимо, що наступна картина зовсім інша, можливо, енергія для .
$Е н е r г у (Е r r_{т} [к] (х, у)) > Е н е r г у (Б л о c к с_{т} [к] (х^{'}, у^{'}))$ $Energy (Err_{t}[k](x,y)) > Energy ( Blocks_{t}[k](x',y') )$

У таких випадках може бути доцільніше передавати блок безпосередньо без прогнозу, ніж надсилати різницю. Це також можливо в кодері через положення, яке називається блоком INTRA.

— Діпан Мехта
джерело

3

Ні, він не залишить дірок, оскільки вектор знаходиться від невідомого кадру (P або B), до відомого кадру (I-кадр). Це трохи нагадує, як обчислити трансформацію зображення - ви використовуєте зворотну трансформацію, щоб уникнути дірок /

— Андрій Рубштейн
джерело

3

$B(i,j)$ $i = \{0,1,2\}$ $j = \{0,1\}$ $(2i, 2j)$

(0,0) (0,2)
(2,0) (2,2)
(4,0) (4,2)

$M(i,j)$

(0,0) (0,0)
(0,1) (-1,1)
(0,0) (0,0)

$B'(i,j)=B(i,j)+M(i,j)$

(0,0) (0,2)
(2,1) (1,3)
(4,0) (4,2)

$B'(i,j)$ $B(i,j)$

Примітка. Ми не захищені від будь-якого типу перекриття блоку "в русі" (два блоки переміщені в місця, що перекриваються). Існують способи вирішити це, але це не виходить за рамки цієї відповіді. Наразі ми просто збираємося переписати будь-які пікселі з блоком, який ми переміщуємо до їх місця, так що навіть якщо раніше були переміщені блоки, вони будуть перезаписані.

$B'(i,j)$ $B(i,j)$ $F_e$

$E$ $F_e$ $F$ $E=F-F_e$

— Фонон
джерело

Хоча я вважаю, що спільнота обробки сигналів на сьогоднішній день є найкращим місцем для того, щоб поставити це питання, однак, такі теми як ця і глибоко задіяні технології навколо цього потребують власного простору. З'явилася нова пропозиція сайту Q&A " Трансляція та медіатехнології" .

— Діпан Мехта

@DipanMehta Дуже круто! =)

— Phonon