Чи може бути практично можливим встановлення «універсальної експозиції»?

Не впевнений, наскільки це питання неосвічене, але мені цікаво навчитися, тому заздалегідь дякую за бажання.

Фільм фізично змінюється протягом періоду часу, який він піддається. Цифровий датчик, однак, не робить; це просто читання даних. Чи є якась причина, що камеру не вдалося пригадати, що було показанням датчиків у кожній точці експозиції? Це просто дані. Це може бути багато даних, але є випадки, коли хтось може захотіти це зробити, ні? Даючи набагато більшу гнучкість після обробки.

Якщо зберігання даних не було проблемою, чи є якась причина, що це не може бути нормою, принаймні для професійної та художньої фотографії?

Цифровий датчик насправді не найкраще описується як "читання даних". Набагато кращий спосіб описати це "збір фотонів", які потім перетворюються на дані, вимірюючи мікроскопічні електричні заряди, які вони виробляють, коли закінчується період збору . Вони не мають можливості постійно записувати мінливий стан кожного пікселя, оскільки вони збирають світло. І в залежності від того, наскільки мало або скільки світла падає на датчик, може знадобитися багато часу, щоб фотони вдарили по датчику, перш ніж генерується щось більше, ніж випадкові дані. З іншого боку, при дуже яскравому світлі іноді всі піксельні лунки можуть заповнюватися так швидко, що втрачаються будь-які додаткові фотони, що потрапляють на датчик.

У першому сценарії недостатньо фотонів збирається для створення картини, що видно, через «шум», що створюється енергією, що проходить через датчик, який використовується для збору напруг, створюваних фотонами, що потрапляють у піксельні лунки. Таким чином, ніякої корисної інформації не збирається. Уся ваша фотографія темна із випадковими плямами кольору та світла.

У другому сценарії збирається стільки фотонів, що кожен піксель зчитується з тим же максимальним значенням, яке називається повним насиченням, і оскільки кожен піксель на зображенні має однакове значення, жодна корисна інформація не зберігалася. Уся ваша фотографія є суцільним яскраво-білим кольором.

Лише тоді, коли достатньо фотонів вражає датчик, вищі значення зчитування мають області з більшою кількістю фотонів за одиницю часу, ніж ділянки з меншою кількістю фотонів, що вражають їх за одиницю часу. Лише тоді датчик збирає змістовну інформацію, яка може розрізняти області різної яскравості.

Уявіть, що на вашому подвір’ї встановіть кілька відра з водою, щоб зібрати краплі дощу. Уявіть, що всі вони мають в собі трохи води, але ви скидаєте її перед тим, як розмістити їх. Деякі розміщуються під карнизом даху вашого будинку. Деякі розміщують під великими деревами у вашому дворі. Деякі розміщуються відкритими. Деякі поміщають під носик, який скидає воду з ваших жолобів у двір. Потім починає дощ.

Скажімо, дощ іде лише дуже короткий час: 15 секунд. У кожне відро є кілька крапель води. Але в кожному відрі не вистачає води, щоб можна було визначити, чи не в кожне відро потрапило більше дощової води у неї, чи у неї було просто кілька крапель, коли ви вивантажували воду перед тим, як поставити відра. на подвір'ї. Оскільки у вас немає достатньої кількості даних, щоб можна було визначити, скільки дощу випало на яких частинах двору, ви скидаєте всі відра і чекаєте, коли він знову дощить.

Цього разу дощить кілька днів. До того моменту, коли перестане дощити, кожне відро у дворі переповнюється. Незважаючи на те, що ви цілком впевнені, що деякі відра наповнюються швидше, ніж інші відра, ви не можете дізнатися, які відра заповнилися якнайшвидше, а які відра - останніми. Тож вам потрібно знову викинути відра і чекати більше дощу.

У вашій третій спробі три години йде дощ, а потім припиняється дощ. Ви виходите на подвір’я і оглядаєте свої відра. Деякі майже повні! Деякі взагалі майже не мають води в них! Більшість мають різну кількість води між двома крайнощами. Тепер ви можете використовувати розташування кожного відра, щоб визначити, скільки дощу випало на кожну ділянку вашого двору.

Причина, по якій ми змінюємо експозицію в цифрових фотоапаратах, - це намагання зібрати достатньо світла, щоб найяскравіші ділянки були майже, але не зовсім насичені.В ідеалі це відбувається з камерою на базовій чутливості ISO. Однак іноді для цього недостатньо світла. Навіть при найбільшому доступному отворі ми не можемо зібрати достатньо світла протягом найдовшого часу, коли ми наважимося залишати затвор відкритим (через рух наших предметів). У цьому випадку ми налаштовуємо налаштування ISO у нашій камері, щоб усі значення, що виходять з датчика, множилися на коефіцієнт, який приводить найвищі значення до точки, де вони майже, але не зовсім насичені. На жаль, коли ми підсилюємо сигнал (напруги, створювані фотонами, що приземляються в піксельних свердловинах), ми також підсилюємо шум (випадкові нерівномірні напруги, отримані струмом, використовуваним для збору напруг з кожної піксельної свердловини). Це призводить до зниження співвідношення сигнал / шум що зменшує кількість деталей, які ми можемо створити з даних, які ми зібрали з датчика.

Існують й інші технічні обмеження, які заважають камерам зберігати "загальний обсяг" кількості фотонів, зібраних за різні проміжки часу, поки затвор відкритий. Киньте достатньо грошей на проблему, і деякі з цих обмежень можна подолати хоча б частково. Але або закони фізики повинні змінитись, або нам потрібно повністю змінити те, як датчики рахують фотони, перш ніж інші ці обмеження зможуть подолати. Врешті-решт, технологія на деяких або всіх цих пристроях може замінити те, що ми робимо в даний час зображення дуже високої якості, але ми ще ніде там не були.

У нас вже є деякі технології для цього. Наш термін запам’ятовування показань датчика в кожній точці експозиції - це «відео», і ви вимагаєте реконструкції оптимального нерухомого зображення з кількох відеокадрів.

Для огляду роботи Microsoft Research з цього питання почніть тут: http://research.microsoft.com/en-us/um/redmond/groups/ivm/multiimagefusion/

Доступний приклад див. У додатку Synthcam, який можна використовувати для зменшення шуму при слабкому освітленні, поєднуючи відеокадри, зняті з камери телефону: https://sites.google.com/site/marclevoy/

Це довгий шлях від практичної для повсякденної фотографії, але можливо, що майбутні камери знімуть багато кадрів відео з високою роздільною здатністю та високою частотою кадрів, що дозволяє фотографу досягти бажаного результату шляхом вибору та комбінування пізніше.

Пізнє оновлення 2016 року: Коли я написав оригінальну відповідь, це було певним чином від ринку. Наприкінці 2016 року це здається набагато ближчим. Додаток Марка Левой "See In The Dark" об'єднує декілька відеокадрів із стабілізацією на споживчому смартфоні, щоб створювати корисні зображення від місячного світла. Дивіться також камеру Light L16 , яка об'єднує кілька маленьких датчиків в одне зображення.

Первісне питання засноване на неправильному припущенні (про те, що цифровий датчик не змінює стан під час експозиції), але концепція пов'язана з ідеєю Quanta Image Sensor (QIS), дослідженою Еріком Фоссумом .

http://engineering.dartmouth.edu/research/advanced-image-sensors-and-camera-systems/

QIS - це революційна зміна у способі збирання зображень у фотоапараті, винайденому в Дартмуті. У QIS метою є підрахунок кожного фотона, який вражає датчик зображення, та надання роздільної здатності в 1 мільярд або більше спеціалізованих фотоелементів (звані Jots) на датчик, а також зчитування площин біт біт у сотні чи тисячі разів за секунду, що призводить в терабітах / сек даних.

Такий пристрій (цитуючи питання)

"пам'ятайте", які були показання датчиків у кожній точці експозиції

і маючи повний набір даних, ми могли б, наприклад, "змінити" ефективний час експозиції після зйомки "фотографії".

Сьогодні це можна визначити, записуючи відео та поєднуючи кадри в постпроцесові, щоб імітувати більш тривалий час експозиції (обмежено продуктивністю камери, роздільною здатністю відео та швидкістю затвора, але це показує ідею)

Якщо QIS працює так, як обіцяли, він також запровадить інші цікаві функції, такі як кращі показники низької освітленості, збільшений динамічний діапазон, відсутність згладжування, повністю настроювана чутливість (наприклад, як у фільмі), відсутність параметрів ISO, регульована роздільна здатність проти шуму

Останнє оголошення: http://phys.org/news/2015-09-breakthrough-photography.html

Фільм фізично змінюється протягом періоду часу, який він піддається. Цифровий датчик, однак, не робить; це просто читання даних.

Це дійсно залежить від типу датчика. Вид CMOS-датчиків, які використовуються в сьогоднішньому DSLR, накопичують електричний заряд у кожному пікселі з часом, тому вони насправді змінюються з часом, як і фільм. Якби вони не працювали таким чином, зображення існувало б лише до тих пір, поки затвор був відкритий. CCD датчики (інша поширена технологія для датчиків зображення у камерах) також працюють таким чином, накопичуючи світло з часом.

Чи є якась причина, що камеру не вдалося зробити «пам’ятати», які були показання датчиків у кожній точці експозиції?

Саме це робить камера, коли записує зображення. Я думаю, що все, що ви маєте на увазі, це те, що якщо датчик міг би прочитати миттєву інтенсивність світла, то ви могли б відрегулювати експозицію після факту під будь-яке значення, яке ви хочете. Як було пояснено вище, більшість датчиків зображення не дуже працює. З іншого боку, ми можемо і часто дуже коригувати експозицію в процесі обробки.

Якщо зберігання даних не було проблемою, чи є якась причина, що це не може бути нормою, принаймні для професійної та художньої фотографії?

Що стосується "запам'ятовування" даних з датчика, то це норма для багатьох фотографів. Більшість камер дозволяють вам записувати зображення у форматі "RAW", і це майже ці дані, оскільки вони зчитуються з датчика плюс трохи більше даних про те, якими були настройки камери на той час. Зображення RAW займають набагато більше місця, ніж інші формати, такі як JPEG, але вони дають фотографу свободу повторно інтерпретувати дані пізніше, тому ви можете легко змінювати параметри, такі як температура кольору та баланс білого в процесі після обробки.

Інші вже пояснили, чому це технічно не вийде. Я хочу торкнутися того, чому це не вийшло практично .

Якщо зберігання даних не було проблемою, чи є якась причина, що це не може бути нормою, принаймні для професійної та художньої фотографії?

Розглянемо величину різних умов освітлення, про які ми можемо захотіти сфотографувати. Навіть ігноруючи крайнощі, такі як астрофотографія (де ви часто фотографуєте невеликі плями світла, оточені майже суцільним чорним кольором), у вас все ще є вечірня або нічна наземна фотографія, і яскраво освітлені засніжені зимові пейзажі. Я буду використовувати останні два в якості прикладів.

Також я припускаю, що для того, щоб точно відтворити будь-яку бажану експозицію, ми повинні виставити датчик до точки повної насичення.

Також я припускаю, що ми можемо читати значення датчиків неруйнівно. (Це, мабуть, одна з тих проблем, які підпадають під категорію "кинь достатню кількість грошей на проблему, і це може бути вирішено".)

У випадку з нічною фотографією нам потрібно буде виставити датчик дуже довго, щоб наситити всі пікселі, а це означає, що будь-яка фотографія, незалежно від того, що ми насправді хочемо для фотографії, буде робити безглуздо довго. Класична туристична картина танцюристів у барі на вулиці стає майже неможливою, тому що, ну, ви зможете перервати декілька з них протягом цілого вечора. Не добре. Тож ми не можемо піддавати насичення, принаймні не без розбору. (Виявляти деякий відсоток насиченості пікселів однаково марно, але з різних причин; спробуйте викласти експозицію точно під час фотографування каміна з палаючим у ньому вогнем. Це майже неможливо; як би ви не старалися, деякі пікселі будуть перекритими або величезні ділянки зображення будуть жахливо недоекспоновані.)

При фотографуванні яскраво освітленого засніженого пейзажу, такого як зимовий вік в денний час, коли виходить сонце, експозиція, на яку спрямована система автоматичної експозиції камери («18% сірий»), надзвичайно неадекватна. Ось чому ви часто бачите темні фотографії снігу, де сніг виглядає швидше світло-сірим, ніж білим. Через це ми часто використовуємо позитивну настройку компенсації експозиції, яка призводить до того, що сніг виявляється майже насиченим білим. Однак це означає, що ми не можемо покластися на систему AE камери, щоб визначити, коли закінчити експозицію: якщо ми це зробимо, такі знімки незмінно будуть недоотримані .

Іншими словами, вплив повної насиченості в багатьох випадках недоцільно, а вплив щасливої ​​системи АЕ у багатьох випадках недостатнє. Це означає, що фотографу доведеться все-таки зробити якийсь вибір, і в цей момент ми, принаймні, так само добре залишаємося з тим, що маємо, і фотографи звикли, покращуючи системи AE і покращуючи фотографування легко ( простіший?) доступ до налаштувань компенсації експозиції. Збільшуючи практично придатний динамічний діапазон датчика, ми можемо дозволити (навіть) більшу широту змін експозиції в процесі післяобробки; оригінальні цифрові дзеркальні дзеркала були надзвичайно дорогими, але справді жахливими в цьому плані порівняно з сьогоднішніми навіть початковими моделями.

Все це можна зробити повною мірою в рамках того, що ми вже маємо. Це не означає, що значно покращити корисний динамічний діапазон датчика досить просто , але, мабуть, набагато простіше, ніж те, що ви пропонуєте, і це проблема, що виробники мають досвід роботи.

Професіонали, майже за визначенням, знають, як користуватися обладнанням своєї торгівлі. Це насправді не відрізняється, якщо вони фотографи або пілоти космічного човника . Особливо, коли це можна зробити, не викликаючи перевантаження інформації, зазвичай краще дати користувачеві повний контроль над професійним обладнанням. На мою думку, поточні високоефективні DSLR дуже хороші в тому, щоб потрапити на солодке місце.

Давайте спростимо проблему, щоб зрозуміти, чому нам завжди доведеться йти на компроміси.

Давайте придумаємо потрібну камеру, але лише з одним монохромним пікселем. Потрібно мати можливість надійно приймати та повідомляти процесор про отримання одиничного фотона. Він також повинен мати можливість приймати та повідомляти процесор про прийом, практично кажучи, незліченно нескінченних фотонів.

Перший випадок, коли немає світла. Другий у випадку навіть помірної кількості світла.

Основне питання полягає в тому, що у нас просто немає технології для створення датчика з таким широким динамічним діапазоном. Нам завжди доведеться йти на компроміс, і зараз ми йдемо на компроміс, вибираючи більш високий діапазон, де датчик може приймати майже нескінченні фотони і давати нам показання, що підказує про відносну кількість світла, що потрапляє на сенсор. Це взагалі не рахує їх, але діє так, як це роблять наші очі - вони просто дають вихід, який відповідає кількості фотонів, що потрапляють у них, не намагаючись рахувати фотони.

Це ще більше ускладнюється тим, що це збирається з часом.

Ідеальний датчик насправді більше нагадує лічильник гейгера - вимірювання часу між фотонами, щоб дати нам майже миттєве вимірювання кількості світла, що падає на датчик, припускаючи, що фотони відносно рівномірно розташовані (що не відповідає дійсності, але є зручним припущенням, і чому лічильники гейгерів в середньому за часом так само, як це роблять камери).

Квантові датчики мали б по суті ту ж проблему. Звичайно, вони можуть відчути окремий фотон, але в якийсь момент вони приходять досить швидко, що ви просто не можете виміряти час між ними, або навіть порахувати, скільки їх прийде за період експозиції.

Таким чином, у нас є такий компроміс, який вимагає, щоб ми або зробили кілька знімків із декількох експозицій, або додавали кілька зображень з однаковою високою експозицією разом, щоб дражнити ділянки з низьким освітленням, або розділити вхідне світло на два або більше шляху з різними датчиками різної динаміки діапазон, або створити датчики, які можуть групувати пікселі разом, або складати датчики світла, або, або, або - буквально тисячі способів фотографи долають цю основну проблему протягом десятиліть за допомогою широкого спектру носіїв інформації.

Це обмеження фізики, яке, мабуть, не буде подолане. Ми ніколи не будемо мати фотоапарат * без фотографу, який дозволяє приймати всі рішення після обробки.

* _{Звичайно, якщо ви зміните визначення камери, то, можливо, ви будете задоволені результатами деяких інших процесів, але це значною мірою суб'єктивно. Реальність полягає в тому, що якщо ви зображуєте сцену за допомогою камери, то показуєте сцену людині, тоді зображення, яке ви знімали, вони сприйматимуть відмінності через властиві їм відмінності між очима, вашим датчиком зображення та процесом, який ви використовували для друку зображення. Фотографія стосується як інтерпретації, так і мистецтва, а також захоплення світла, і тому фанатична спрямованість на "ідеальну камеру", мабуть, не дуже корисна.}