Підвищення роздільної здатності зображення CSI: наскільки це реально?

Тому я переглянув наступний 1-хвилинний кліп Youtube з CSI Нью-Йорка . У кліпі, використовуючи те, що, здається, є записом зі стандартної банківської камери, вони збільшують щонайменше 100, і бачать зображення винуватця у відображенні ока дівчини.

Тепер я подумав, що це абсолютно смішно, настільки, що я подумав, що це насправді смішно.

Однак мій друг стверджував, що існують дуже хороші хитрощі для поліпшення зображення, такі як процедура "суперроздільної здатності", коли кілька кадрів відеоролика дозволяють отримати набагато більш високе зображення з однією роздільною здатністю. Він думав, що шоу трохи схиляє правду, але скільки?

Чесно кажучи, я насправді нічого не знаю про ці речі, тому моє запитання:

Наскільки хорошим є сучасне покращення роздільної здатності зображення? Крім того, наскільки далеко від телевізійних програм CSI?

Дякую,

Зауваження. Це перехресне повідомлення, розміщене на сайті "Скептики". Мені сказали, що тут я можу отримати кращі відповіді.

Коротка відповідь: ви можете отримати дуже хороші результати, але лише за певних умов і зовсім навіть не близьких до того, що показано у пов'язаному відеокліпі.

Моя компанія Amped Software розробляє програмне забезпечення для обробки зображень і відео для судово-медичних та розвідувальних програм, тому в основному ми є реальним партнером програмного забезпечення CSI.

Посилаючись на загальну проблему підвищення якості, я можу вам сказати, що для нашого ринку це величезна проблема виправдати очікування, створені телесеріалами та голлівудськими фільмами. Ви можете побачити на нашій сторінці зразків, що іноді результати, які ми можемо отримати, справді дивовижні, але важливо розуміти, що ми можемо їх отримати лише за певних умов: якщо є інформація, яку охоплюють порушення, але вона є , ми здатні її відновити. Якщо інформації немає, ми не можемо і не повинні її відтворити. У цьому конкретному застосуванні важливо не тільки отримання результатів з візуальної точки зору, але й дотримання наукового робочого процесу, який повинен бути прийнятий судом .

Минулого року я представив дослідження, в якому описував проблеми та результати майже 200 випадків, над якими працював, і кінцевим результатом було таке:

• у більш ніж 50% випадків робити нічого не можна (наприклад, відновлення номерного знака розміром 5x2 пікселів абсолютно неможливо з будь-яким програмним забезпеченням у світі);
• приблизно в 30% випадків ми можемо отримати невеликий результат (наприклад, відновити деякий лист номерного знака або покращити загальний вигляд обличчя);
• у 10% випадків ви отримуєте хороші результати (ви отримуєте, наприклад, більшість номерних знаків).

Зверніть увагу, що всі ці випадки мали серйозні проблеми з якістю. Якщо їх якість була хорошою, нас не просили працювати над ними.

Що стосується конкретно покращення роздільної здатності :

• коли ви збільшуєте зображення, ви інтерполюєте пропущені пікселі: з одного зображення ви можете покращити візуально зовнішній вигляд зображення, але не додасте жодної реальної деталі ;
• Технології супер роздільної здатності можуть дати хороші результати за певних умов: у вас повинно бути достатньо кадрів, зміщених на не цілу кількість пікселів і бажано з невеликими артефактами стиснення. У кращому випадку ви можете очікувати хороших результатів у межах 2x та 3-кратного збільшення.

Показане у відеокліпі може бути можливим лише в тому випадку, якщо оригінальне відео було знято на кілька мегапікселів, і тоді ви будете мати дозвіл на дуже масштабний масштаб (більш-менш, як ви робите на Картах Google). Звичайно, на цьому етапі все-таки виникнуть інші проблеми, як-от правильний фокус, низький рівень освітлення, той факт, що перспектива очей відрізняється від точки зору цілого предмета у відео, лише декілька.

Ви нічого не можете зробити з нічого, ви повинні мати (або здогадуватися) якусь інформацію, щоб мати можливість покращити зображення будь-яким способом. Наприклад, якщо ви знаєте властивості функції розмивання (і немає шуму зображення), ви можете фактично розблокувати фотографію. Однак ви рідко знаєте, що функція розмиття присутня, і шум завжди присутній, що суттєво обмежує відновлення (недавно Adobe продемонстрував фільтр unblur, але їх демонстрація була з синтетичним розмиттям).

Коротше кажучи, CSI - це майже чиста вигадка - прибутки, можливі в реальному житті, є незначними, нічим іншим, як 5-кратне збільшення роздільної здатності, яке представлене по телевізору.

Перевірка обґрунтованості: якби вони могли все це зробити, люди не платять десятки тисяч за камери Hasselblad 40+ MP, було б дешевше просто дублювати програмне забезпечення!

редагувати: Я якось не помітив оригінального запитання згаданого супер-роздільної здатності від відео. Суперроздільна здатність декількох зображень можлива в реальності, але лише до обмежень датчика. Він працює за допомогою набору зображень із зміною пікселів. Це дає інформацію про значення між пікселями, що дозволяє створювати зображення з більшою роздільною здатністю. Супер роздільна здатність від відео працює, тому що рухомий предмет створює однакові зміни, проте зовнішній вигляд об'єктів не повинен сильно змінюватися між кадрами. Ця техніка в кращому випадку дає лише результати сенсора з більшою роздільною здатністю, ви не можете подолати межі потужності роздільної здатності об'єктива, що було б досить обмежене об'єктивами відеоспостереження.

Ось приклад суперроздільної здатності при хороших умовах:

_{(джерело: wikimedia.org )}

зображення з photoacute.com

поліпшення роздільної здатності, так, але все ще ніде не було ефективності на рівні CSI.

Якщо посилатися на мій коментар вище, останні Hasselblads реально реалізують суперроздільну здатність зсуву сенсора під назвою "багатозахисний захоплення", тому ви все ще не можете перемогти виробників середнього формату у власній грі за допомогою розумного програмного забезпечення ...

Так ось що я маю досі:

Площа очей, де вони бачать баскетбол, становить приблизно 1 квадратний міліметр. Виходячи з зросту дівчини, ми можемо впевнено підрахувати, що це повинно бути не більше 1 мільйона від загальної кількості пікселів на екрані. (Ширина та висота зображення, хоча для фотографій недостатньо визначена, оскільки якась річ може бути ближче, виглядають приблизно приблизно 3 х 3 метри, що означатиме 10 мільйонів квадратних міліметрів. Однак око може бути ближче до фактичного об'єктива камери, тому Я приблизно оцінюю і поділяю на $ 10 $.)

Якби запис був високої якості HD, це все одно було б лише 2 мегапікселі, тож там, де ми бачимо баскетбол, має бути розмір одного пікселя.

Я думаю, що міркування, безсумнівно, показують, що це неправда, але я все ще залишаюся цікавим, які верхні межі вдосконалення зображення?

Існує якесь комерційно доступне програмне забезпечення там із Super Resolution. Я сам не пробував жодного з них, але рекламний матеріал досить хороший. Програмне забезпечення спрямоване на нагляд, безпеку та збройні сили, але, мабуть, деякі криміналістичні підрозділи матимуть доступ до цього матеріалу.

Два приклади: Ikena від MotionDSP і TacitView від 2d3

Підвищити зображення / відео до рівня, запропонованого в телевізійних шоу, просто неможливо, а фактично обмежений пристроєм захоплення зображень. Це та технологія, яка повинна була б розвиватися спочатку.

Неможливо отримати інформацію з колекції 10 пікселів у впізнаваний об’єкт. На рівні пікселів - це остаточний обсяг інформації, що надається на зображенні. У вас лише 100 блоків кольорів у такому кінцевому масштабі. Ви можете збільшити площу 10x10 пікселів на 100x100 пікселів за допомогою інтерполяції, але інформація у 10x10 пікселів є лише необхідною, і інтерполяція покладається на освічені здогадки на основі цих 10 x 10 пікселів програмним забезпеченням. Результатом буде розмиття 100 х 100 пікселів. Крім того, візьміть зображення розміром 2000x2000 пікселів і інтерполюйте його до 4000x4000 пікселів, і деякі розмивання, не такі чіткі на оригінальному зображенні, можуть виглядати чіткішими, як можливі об'єкти на великому зображенні, просто через пареїдолію, - але навіть тоді це припущення чи припущення. Інтерпольоване зображення дало б "ілюзію" детальніше,

Поліпшення зображення покладається виключно на максимальний обсяг інформації, зібраної за допомогою оригінального джерела зображення, і масштабування пікселів - все, що є. Деякі камери можуть приймати зображення дуже хорошої роздільної здатності, але жоден програмний продукт не може вивести деталі, які не записані у вихідному зображенні.

Тепер, щоб повернутися до шоу CSI, більшість із них захоплюють ваші стандартні камери спостереження, які для початку в реальному житті не відрізняються високою роздільною здатністю, тож коли я бачу подібне вдосконалення на шоу, це просто змушує мене сміятися - як це неможливо навіть із найдосконалішою формою програмного забезпечення для редагування зображень (а PhotoShop добре і справді знаходиться у верхньому кінці розширеної шкали). Поліпшення зображення та масштабування на 100% покладаються на інформацію, яку захоплює пристрій візуалізації - тому камера спостереження, здатна захопити, скажімо, відображення обличчя людини на стороні чиїй-небудь рогівки ока, повинна бути надзвичайно потужною та була б шалено дорогою . Кадр повинен мати надзвичайно високе визначення пікселів на кадр (скажімо, 100 мегапікселів або приблизно 9,5 терабайт, щоб зберігати 1 секунду кадру), що може підірвати розмір файлу кадрів до того, що для кожної камери спостереження знадобиться невелика ферма сервера, щоб вмістити кадри на 24 години. Дуже дорогий. Отримана вдосконалення технологія покладається на пристрої для зйомки зображень, здатні зробити цей рівень детального захоплення відео та зображень спочатку, щоб зберігати дані зручним способом і бути таким чином, що це недорого розгорнути в різних містах. Розмір файлів був би настільки величезним на відеоматеріалах (пам’ятайте про 9,5 терабайт в секунду), що програмному забезпеченню, здатному це зробити, знадобиться надзвичайно потужний суперкомп'ютер (за сьогоднішніми мірками) для запуску. З розвитком технологій зі швидкістю, яка вона є, це можливо стане можливим у якийсь момент майбутнього, ймовірно, у нашому житті. Тільки тоді вони могли це зробити, але зображення не було б покращено, вони б збільшували масштаби лише на надто детальних знімках. Я це знаю, коли працюю в цифрових зображеннях повноцінно живу.