Чому камери не знімають динамічний діапазон, як це роблять наші очі?

Сидячи в кімнаті, де не вмикається світло, і я дивлюся у вікно, я легко бачу інтер’єр кімнати, навіть якщо зосереджуюсь на дереві зовні.

Чому камера може не зафіксувати подібне зображення до того, що можуть бачити мої очі? Я думаю, що новіші камери повинні мати можливість легко захоплювати цей набагато динамічний діапазон. Я не вірю, що дисплей - це проблема, якщо цей великий динамічний діапазон захоплений, тому що його можна нормалізувати. У цифровій камері я повинен встановити експозицію, яка буде правильно фіксувати лише зовнішню сцену або внутрішню сцену.

Це лише проблема з цифровими камерами чи це однаково для кінокамер?

Тут вже обговорюється аналогічне запитання. Як точно зафіксувати сцену так, як бачать мої очі? . Я не говорю про дозвіл, фокусування чи деталізацію. Мене цікавить експозиція чи динамічний діапазон, подібний до того, коли ми фіксуємо погляд на одній сцені.

Причина, за якою ви бачите такий великий динамічний діапазон, полягає не в тому, що око, як оптичний пристрій, насправді може захоплювати такий діапазон, - причина полягає в тому, що ваш мозок може поєднувати інформацію з безлічі "безлічі" експозицій з очей і створити HDR-панораму сцени перед собою.

Око досить слабке з точки зору якості зображення, але воно має дуже високу "частоту кадрів" і може дуже швидко змінювати чутливість, напрямок та фокусування.

Мозок знімає всі ті образи з очей і створює зображення, яке ви думаєте, що бачите - це включає деталі із зображень з різною чутливістю і навіть деталі, які повністю складаються на основі того, що ви очікували побачити. (Це одна з причин виникнення оптичних ілюзій - мозок можна обдурити «бачити» речі, яких насправді немає).

Отже, ви можете бачити камеру так само, як і вашим оком, просто робіть безліч експозицій за різними налаштуваннями, потім завантажуйте все у Photoshop, створюйте панораму HDR та використовуйте «заповнення вмісту», щоб заповнити прогалини.

До речі, чому камери "повинні" мати можливість захоплювати цей діапазон, але монітори не повинні його відтворювати? Якщо технологія, яка не існує, повинна існувати, то монітори повинні мати можливість відтворювати все, що ми можемо бачити (і я повинен мати можливість відпочити в готелі з низькою вагою на Місяці)

Можливо, ви маєте невелику перевагу в динамічному діапазоні сенсорів у порівнянні з камерою, але більшість із того, що має значення, - це наявність вдосконаленої системи автоекспозиції, саккад , обробки HDR та системи розпізнавання сцен, яка зберігається в кількох експозиціях . Мозок людини є як мінімум таким важливим для зорової системи, як око .

Представлена ​​сценою з дуже високим динамічним діапазоном, візуальній системі людини потрібен певний час для адаптації. Це не тому, що ми маємо коригувати налаштування динамічного діапазону, а тому, що нам потрібно аналізувати дуже яскраві та дуже темні частини сцени окремо, а потім склеювати важливі частини зображення разом. Дуже багато того, що ми "бачимо", насправді залежить від того, що ми вже знаємо, що там є; ми можемо використовувати дуже мало ознак реальної деталізації для заповнення пробілів (а коли у нас недостатньо реальної інформації, ми можемо інтерполювати - але не завжди правильно ).

Отримати камеру - будь-яку камеру - працювати на такому рівні означатиме розробити систему, яка "знає", на що вона дивиться. Ми вже можемо зробити «тупу» версію цього, використовуючи різні методи HDR (у вашому конкретному прикладі, як правило, шляхом простого маскування, коли дверний проріз буде вирізаний із темряви, а на його місце - версія яскравої експозиції). Поточний автоматизований процес повністю базується на яскравості (оскільки вони не можуть проаналізувати значення та важливість) і, як правило, створюють очевидні артефакти. І якщо ви коли-небудь бачили сирий 32-бітний HDR-комбінований образ, який ще не був тоналізований (що по суті є тим, що ви отримаєте виключно за рахунок збільшення динамічного діапазону датчика), ви, ймовірно, помітили що зображення дуже «плоске» і не має локального та глобального контрасту. Це знання, що таке сцена, що дозволяє нам робити карти, вирішувати, де контраст має місцеве значення. Поки камера не може приймати однакові рішення, вона не зможе створити зображення, схоже на те, що бачить ваш мозок.

Це пов'язано з тим, як мозок інтерпретує інформацію, яку надає очі (або, якщо говорити, це програмне забезпечення, а не апаратне забезпечення).

Ми бачимо колір і деталі лише в дуже вузькому полі в центрі нашого зору. Щоб створити детальний барвистий образ, який ми сприймаємо, мозок переміщує цю центральну точку навколо, не знаючи нас.

Я не нейробіолог, але я можу зрозуміти, що коли мозок створює цю більш широку картину з безлічі крихітних знімків, це також робить деяку нормалізацію яскравості, отримуючи зображення, яке скрізь виявляється з однаковою яскравістю, незважаючи на те, що в деяких областях багато яскравіше насправді. В основному здатність бачити одночасно темні та яскраві речі є ілюзією.

Немає причин, щоб ця поведінка не могла наслідувати цифрові камери, і немає причин, що ми не можемо зробити сенсори, здатні на значно більший динамічний діапазон за одну експозицію. Насправді, Fuji виготовив датчик із надзвичайно чутливими фотосайтами для зйомки додаткових деталей висвітлення.

Проблема зводиться до неможливості відображення зображень високого динамічного діапазону. Для відображення таких зображень на стандартному моніторі низького динамічного діапазону вам потрібно виконати спеціальну обробку під назвою тоналізація, у якої є свій набір недоліків. Для більшості споживачів камери з високим динамічним діапазоном просто будуть більше клопоту.

Підсумок:

• Бог створив наші очі.

• Ми робимо камери.

• Ми ще не наздогнали Бога.

• АЛЕ найкраща доступна камера майже до вимог, які ви описуєте.

• Є способи досягнення того, що ви хочете. Ви просто вирішили визначити їх як не те, що вам потрібно. Це ваш вибір.

Рівень освітленості в затемненій кімнаті з відкритим вікном для зовнішньої сцени може становити приблизно 0,1 лк (0,1 просвіт на квадратний метр.) Рівень освітлення зовнішньої сцени може становити від 10 до тисяч люкс у ситуації, яку ви описуєте.

При 100 люкс зовнішніх і 0,1 люкс внутрішніх співвідношення становить 1000: 1 або трохи менше 10 біт динамічного діапазону. Багато сучасних камер могли диференціювати тональні відмінності на обох кінцях цього діапазону, встановленого правильно. Якщо б рівень освітлення дерева просто насичував датчик, то у вас було б близько 4 бітів рівня в приміщенні = 16 рівнів освітлення. тож ви могли бачити деяку ступінь деталізації з найяскравішим рівнем, ОКРЕМИ, що рівень світла в тілі настільки низький, що очі можуть мати з цим проблеми.

Якщо рівень освітленості дерева становив 1000 лк (= 1% від повного сонячного світла), вам знадобиться близько 13 біт динамічного діапазону. З цим впораються найкращі 35-міліметрові повнокамерні камери. Налаштування камери потрібно робити точково, і ви матимете приблизно нульову тональну інформацію всередині приміщення. Цей рівень зовнішнього освітлення є вищим, ніж ви отримали б у інших умовах, ніж у нічний час.

Багато сучасних DSLR-дисків середнього та верхнього рівня мають вбудовану обробку HDR, що дозволяє отримати набагато більші динамічні діапазони, поєднуючи кілька зображень. Навіть фото HDR з 2 зображеннями легко розмістить вашу сцену. Мій Sony A77 пропонує HDR до +/- 6 EV 3 кадру. Це дасть більше 20 біт динамічного діапазону - що дозволить у вашому прикладі дуже адекватно змінювати тон у верхньому та нижньому кінцях.

Це проблема лише цифрових камер чи це однаково для кінокамер?

Жодна відповідь цього ще не торкнулася, принаймні, безпосередньо ... так, це дуже проблематично і з фільмом. Наприклад, знаменита прозора плівка кольорової прозорості Fuji Velvia має по-справжньому гнилий динамічний діапазон (хоча чудовий колір!) Прозорість плівки взагалі страждає від цього. З іншого боку, негативні фільми можуть мати дуже хороший динамічний діапазон, приблизно такий же хороший, як найкращі сучасні цифрові камери. Хоча це поводиться дещо інакше - хоча цифровий має лінійну реакцію на світло, плівка, як правило, має вбудовану контрастну криву "S". Чорні та майже чорні, білі та майже білі - згущені більше, ніж середні тони.

Майте на увазі, що як кінозйомки, як правило, друкуються чорнилом на фоні білого паперу, існує не надто щедрий обмеження щодо того, наскільки динамічний діапазон хотів би, щоб він захоплював в першу чергу! Захоплюючи, скажімо, тридцятипінчастий динамічний діапазон, а потім виводячи його на ... що взагалі являє собою ДР фотодруку? П’ять зупинок? Шість? ... вихідне середовище виглядало б ... найменш дивно. Я підозрюю, що саме цей фактор більше, ніж будь-які непереборні перешкоди з хімією, має обмежений динамічний діапазон фотоплівки. Це не так багато, що ми не можемо цього зробити, тим більше, що ми активно не хочемо цього робити.

Достатньо матеріалів, щоб заповнити книгу - але її суть проста в тому, що людські очі бачать яскравість логарифмічно, тоді як камери "бачать" яскравість лінійно.

Отже, якщо припустити умову, коли яскравість сягає від 1 до 10000 (випадковим чином вибране число), у базі журналу 10 людське око бачить яскравість як 0 до 5, тоді як камера, лінійно, бачить її як 1 до 10000. датчик, який здатний охопити такий великий діапазон, є важким, оскільки у вас є шум, що заважає низьким вимірам, і перелив, що заважає більш високим показникам яскравості. Сказавши це, я вважаю, що є КРАЩА камера, яка може записувати 18 зупинок динамічного діапазону - не впевнений, чи це лише прототип або модель виробництва.

До речі, логарифмічна та лінійна різниця також полягає в тому, чому яскравість збільшується вдвічі або вдвічі на одну різницю стопу.

Але цього достатньо для теми дослідження - тож це лише короткий вказівник.

Око не захоплює динамічний діапазон. Він стискає динамічний діапазон, і тоді «післяобробка» в мозку створює ілюзію динамічного діапазону. Стислий динамічний діапазон - це те, що ви можете одночасно бачити тіні та освітлені ділянки. "Приріст", так би мовити, автоматично викручується в частинах сітківки, які чують тіні, роблячи їх яскравішими і зменшуються там, де сітківка бачить освітлені ділянки. Мозок все ще знає, що він дивиться в тінь, тому він створює відчуття, що там темно. Так би мовити, розмовляємо над стислими даними, так що ти не знаєш, що динамічний діапазон був стислий.

Сенсори в цифрових камерах могли легко перевершити сітківку в динамічному діапазоні. Проблема полягає в тому, що ви не контролюєте експозицію на кожну площу. Камери мають налаштування посилення (зазвичай представлені в термінології фільму як настройки ISO), які є глобальними.

Те, що робить око, це щось таке, як використання "ISO 100" для світлого простору та "ISO 800" для темної зони одночасно.

Якби камера могла регулювати коефіцієнт посилення для конкретних областей пікселів на основі яскравості, це було б, безсумнівно, корисним, але ми знаємо, застосовуючи такі ефекти вирівнювання коефіцієнта підсилення в процесі обробки, що мозок насправді не обдурить їх. Це не виглядає природно. Це виглядає природно лише тоді, коли власне око робить це в координації з власним мозком.

Це свого роду цікаве запитання, якщо ви даєте йому шанс замість того, щоб пояснювати очевидні причини, чому камери вже зроблені так, як їх роблять.

Розглянемо найближчий варіант. Картографування тонів - це метод, при якому фільтр низьких частот застосовується до значень експонентів зображення RGBe. Це грає велику роль у тому, як очі щось бачать. Але давайте врахуємо, що наші очі приймають довгі пари зображень. Вони працюють набагато більше, як відеокамери, ніж фотокамери.

Відображення тонів можна було б значно покращити, якби воно було побудовано як шейдер GLSL, який працював у режимі реального часу зі спеціалізованою відеокамерою, яка могла б фіксувати постійний потік HDR-зображень.

У набагато більш спрощеному прикладі фотографії "HDR" на iPhone - це композити зображень із низькою та високою експозицією, що передаються через процес тонального відображення, який працює досить добре, якщо ви цього не пробували. Багато інших камер споживчих класів роблять подібні речі.

Існує також захоплююча тема того, як інтуїція / намір / воля грає на те, як ваші очі калібруються вздовж потоку часу. Якщо ви дивитесь на темну стіну і думаєте про те, щоб повернути голову до яскраво освітленого вікна, ваш мозок може сказати вашим очам іти вперед і почати закривати своїх зіниць. Камера з автоматичною експозицією може зробити те ж саме, але лише після надходження занадто багато світла. Люди, які працюють у кіно, витрачають багато часу на отримання часу, коли налаштування камер кінофільму плавно перетікають, щоб вони відчували себе природними під час складного знімка (або освітлення сцени таким чином, що налаштування камер насправді не потрібно коригувати) Але знову ж таки, єдина причина, що такі речі працюють - це те, що режисер знає, що буде з камерою, перш ніж це станеться.

Найбільшою проблемою було б відтворення знятого зображення.

Це не поза сферою технології створення датчика зображення та конфігурації, яка б охоплювала надзвичайно широкий діапазон рівнів яскравості в одному зображенні. Врешті-решт, це лише питання підрахунку фотонів - це технологія, яка наближається до необхідних рівнів. Поточні камери в основному використовують параметри експозиції, щоб модулювати яскравість, яку бачить датчик, хоча більшу частину цієї роботи можна було б виконати в сенсорі, можливо, це призведе до більшого шуму помилок, але ви, безумовно, можете отримати ширший діапазон від датчика фотографії що зараз доступне на ринку.

Але проблема в цьому: коли ти маєш цю картину, що ти робиш з нею? Навіть дисплеї високого класу все ще використовують 24-бітний колір, тобто лише 256 відтінків на кольоровий канал. Поточні принтери аналогічно обмежені, якщо не більше. Тож насправді нічого не можна зробити з таким зображенням без попередньої обробки, щоб зменшити діапазон до того, що створюють існуючі камери.

Напевно, ви вже бачили цю проблему: більшість сучасних форматів RAW вже зберігають ширший діапазон, ніж можна відтворити, і кольорову гаму вже потрібно стиснути або обрізати, перш ніж ви зможете переглянути зображення. Додавання ще більшого діапазону до виходу RAW було б просто таким же. Камера, ймовірно , буде значно дорожче , але картини не було б значно краще , тому що ви все одно доведеться нарізати діапазон до 24-бітного кольору , перш ніж ви можете подивитися на нього.

І все-таки, можливо, з правильним програмним забезпеченням та правильним користувачем ви можете отримати щось чудове з цього. Це, мабуть, не дуже схоже на поточну фотографію HDR, але вам не доведеться робити декілька зображень.