Чому датчики цифрової камери не можуть виставляти кожен фотосайт окремо?

Чому датчики камери неможливо функціонувати так, як може людське око? Що я маю на увазі, чому певна частина зображення повинна бути надмірно / неекспонованою, якщо ми компенсуємо темні та світлі ділянки відповідно під час фотографування та вирішення параметрів діафрагми та витримки.

Я розумію, що потрапляння світла залежить від діафрагми та швидкості затвора, але оскільки DSLR цифрові, чи не може бути технологія, яка б давала змогу кожному датчику використовувати власне вимірювання, і тому вони не піддавалися б однаковій кількості світла, але залежно від вимірювання, центральний процесор камери відключив би певні комірки, щоб не перекрити їх.

Я сподіваюся, що я не кажу дурниць. Це мені точно здається правдоподібною ідеєю.

Хто вирішує, які пікселі отримують скільки виграшу? Багато з того, що відбувається в зоровій системі людини, відбувається в корі, а не в оці, і залежить від того, що, на нашу думку, важливо бачити на основі поєднання інтелектуального рішення та (дещо переборливого) інстинктивного потягу до самозбереження . Хоча в одному сенсі правда, що ми бачимо, що там є, однаково правда в іншому сенсі, що ми бачимо те, що хочемо (або потрібно) бачити.

Це було б майжетривіально для створення порівняно низького датчика щільності пікселів з великими фотосайтами, що дозволяють отримати величезний динамічний діапазон, і (якщо припустити, що це технологія типу CCD, оскільки поточна технологія CMOS-датчиків не може працювати таким чином) електронний затвор на піксель на додаток до механічний затвор. То що б це у вас вийшло? Плоске зображення з великою глибиною бітів та дуже низьким локальним контрастом (якщо вся бітова глибина перетворена як-то для відображення чи друку) разом із низкою пікселів, які майже, але не зовсім, відсікаються сенсорною насиченістю ( хоча насправді вони обрізані обмежувальною дією електронного затвора безпосередньо перед точкою насичення). Скажімо, заради аргументу, що цей датчик та пов'язаний з ним комп'ютер могли записувати дані відсікання (причина, чому він припинив запис на цей сенсор, що може бути таким же простим, як запис фактичної тривалості експозиції на цьому місці). Це дозволило б електроніці камери реконструювати, якими були б цифри, якби фотосайт міг залишитися в грі до остаточного свистка. Тож тепер у нас є ще більш плоске зображення з більшою глибиною бітів. А де ви проводите лінію? 32 біта? 64?

Тепер наступає важка частина - перетворюючи ці плоскі дані з високим динамічним діапазоном у переконливу фотографію. Найпростіший підхід полягає в тому, щоб взяти вісім біт (або якою би була глибина вихідного біта), які представляють основне дозоване зображення, і викинути решту. Мабуть, буде не набагато складніше пристосувати дані до S-кривої, стискаючи крайні тіні та / або підсвічуючи - що є більш-менш тим, що вже роблять розширені параметри динамічного діапазону на новіших камерах. Але є лише стільки вихідних бітів на піксель, і більшість значень розширеного підсвічування збираються до білого (або принаймні суміші 254 і 255). Таким чином, ви дуже мало заробили, різко ускладнивши систему.

Але є ще один варіант відкритого - вибіркове картографування областей. Чому б не принести, скажімо, небо або просто хмари на тому небі, щоб вони зберегли деталі, зберігаючи бажаний контраст на передньому плані? Ось тут живе важка проблема. Що важливо? Камера повинна вирішити для вас? Якщо камера вирішить, ми маємо великий прогрес у машинному зорі та штучному інтелект, щоб обійтись першими. Якщо ні, то чи справді ви хочете прийняти цей рівень прийняття після зйомки для кожної фотографії, яку ви знімаєте? Так, я знаю, що буде кілька фототехнологій, які дійсно хочуть бути рукою, але чи можемо ми визнати, що це патологічний стан, і що професіонали, зацікавлені в часі повороту та переважній більшості споживачів Вам це не подобається?

Тож вам потрібен новий датчик, набагато складніша електроніка навколо датчика, величезний файл зображень для прогнозованих необроблених даних (що вимагає великих карт і більше часу запису / повільнішої частоти кадрів) - все для збору даних, які будуть викинуті найбільше того часу, щоб ви могли час від часу знімати одноразові HDR-зображення, які потребують великого втручання людини в пост (або величезний стрибок у MV / AI). Можливо, ви могли б продати декілька з них, але я б очікував, що ринок буде виглядати набагато більше, як ринок середнього формату, ніж існуючий ринок 35 мм / APS-C. Тобто, ви продасте вибраній групі фотографів з високими підборами, яким або потрібні можливості з професійних причин, або для виконання образотворчого мистецтва, та небагатьом, хто отримує достатньо великий удар від післяобробки, щоб заплатити податок на технологію.

Є одне, що лише кілька людей згадують, і це те, що сцена не виглядала б однаково, якби різні ділянки, де по-різному піддавалися впливу інших областей. Сцена виглядає так, як це відбувається, тому що є варіація. Так, це може бути спосіб збереження виділень та збільшення тіней, але, врешті-решт, те, що ви дійсно хочете, - це більший динамічний діапазон, який може захоплювати динамічний діапазон у сцені за допомогою однієї настройки експозиції.

Наші очі чудово забезпечують нам набагато більший динамічний діапазон, ніж сучасні технології споживачів камер. Я можу швидко озирнутися і одночасно сприймати точну деталь у затінених областях та яскравих сонячних областях.

Один із способів вирішення цієї проблеми з боку виробників камер - це використання пікселів високої та низької чутливості в одному датчику, а потім поєднання результату на піксель. Нові цифрові фотоапарати кінотеатру RED мають матрицю нормальних і низької чутливості пікселів, що називаються HDRx. Невеликі пікселі з низькою чутливістю поєднуються у світлі яскраві пікселі для збільшення динамічного діапазону.

По-перше, динамічний діапазон очей людини не такий великий. Він здається, що він кращий, ніж наші поточні камери високого класу, тому що наш мозок постійно об'єднує "знімки", зроблені за допомогою різних параметрів експозиції. Наші очі не можуть реєструвати надзвичайно яскраві та надзвичайно темні предмети одночасно (навіть якщо мозок може). Справжнє диво обробки зображень, але лише посередня оптика / пристрій візуалізації.

Існує кілька пропозицій / прототипів, які показують, як можна значно поліпшити динамічний діапазон датчиків зображення:

• Модульна камера від MIT

  кожен фотодіод скидає свій стан при попаданні на максимальний заряд і пам'ятає, скільки разів це сталося

• Quanta Image Sensor від Еріка Фоссума

  використовує набагато менші та швидші фотонні підрахунки пікселів замість "аналогових" контейнерів заряду + A / D перетворювачів

Тут вам не вистачає базової фізики. Основна проблема полягає в тому, що реальні сцени мають великі коефіцієнти контрасту. Наші очі розвинулися для вирішення цього питання, сприймаючи рівні світла логарифмічно, а не лінійно. На жаль, поточна технологія датчиків по суті вимірює світло лінійно. Або якщо точніше сказати, шум фіксується за лінійною шкалою світла.

З сучасними технологіями максимальна межа контрасту в основному є функцією рівня шуму. Для аргументації давайте скористаємось шкалою світла 0-1000, тобто сенсор може повідомити вам рівень освітлення від 0 до 1000. Яке найвище співвідношення він може вимірювати? Це залежить від рівня шуму. Рівень шуму - це в основному те, що ви отримуєте замість справжнього чорного, який був би 0 у цьому прикладі. Приблизно, якщо рівень шуму дорівнює 2, то ви отримуєте близько 1000: 2 = коефіцієнт яскравості 500: 1. Поки сцена не перевищує цього (хоча б майже все, хоча насправді 500: 1 не так вже й багато), ви можете робити будь-яке логарифмічне відображення пізніше.

Отже, діюча стратегія, враховуючи, що датчики струму за своєю суттю лінійні, полягає у намаганні збільшити співвідношення сигнал / шум та забезпечити достатню кількість бітів, щоб квантування шумів було нижче властивого випадковому шуму. Чим нижчий шум датчика, тим ширші сцени динамічного діапазону ви можете знімати, не відсікаючи світлі світли або затушуючи тіні.

Існує абсолютно інша технологія сенсорів, яка по суті вимірює журнал яскравості. Іноді їх називають датчиками "CMOS", оскільки вони дуже схожі на динамічну оперативну пам'ять CMOS із знятою кришкою (я спрощую, але перший тест у лабораторії був зроблений саме таким чином). Ви отримуєте напругу, пропорційну часопису світла, але в даний час вони мають значно менші співвідношення сигнал / шум. Mitsubishi першим розпочав комерціалізацію цих датчиків, але вони поки що недостатньо хороші для камер високого рівня.

Немає сумнівів, що це будуть аванси на декількох фронтах, і я впевнений, що ми будемо спостерігати стабільний прогрес протягом багатьох років. Однак є вагомі причини, чому все так, як зараз, а не лише тому, що ніхто не може уявити щось краще. Якби хтось мав технологію, яка могла б точно виміряти широкий динамічний діапазон та ціною, яку люди готові платити, вони б там розбагатіли.

Я вважаю, що це занадто складно.

В основному існували б два можливі підходи; або кожен фотосенсор міг відслідковувати час і вимикатись, або процесор міг відслідковувати дані з фотосенсорів та вимикати їх.

Для першого підходу це означало б, що кожному фотосенсору знадобиться синхронізовий сигнал та лічильник, щоб він міг відслідковувати, скільки часу пройшло, поки він не відключився. Це набагато більше мікросхем, щоб вмістити чіп, і набагато більше електроенергії, необхідної для його запуску, що збільшує шум сигналу. Напевно, стільки, що збільшений динамічний діапазон був би безглуздим.

Для другого підходу процесору потрібно було б прочитати всі дані з датчика приблизно один раз на 1/10000 секунди. Це приблизно в 1000 разів швидше, ніж це може зробити нинішня технологія, тож це десятки років у майбутнє, якщо це взагалі можливо.

Також існують інші ускладнення з таким рішенням, як, наприклад, кожен піксель отримав би різний час опромінення. Ви отримаєте досить дивні артефакти, якщо сфотографуєте що-небудь, що рухається.

Хоча це правда, що DSLR цифрові, об'єктиви це не так. Усі датчики комірок будуть піддаватися однаковій діафрагмі, незалежно від того, наскільки розумним буде корпус DSLR, оскільки діафрагма встановлена ​​на об'єктиві. Тож я думаю, що змінюється діафрагма на датчик, принаймні, в сучасній технології лінз.

Що стосується швидкості затвора, яку контролює камера, але якщо ми уявимо камеру, яка може змінювати швидкість затвора на різних частинах зображення для контролю над / під експозицією, у вас виявиться нерівномірне розмиття руху. Темніші частини сцени доведеться виставляти довше і будуть більш розмитими, ніж світліші. Я думаю, що рішення, яке змінить швидкість затвора, не спрацює з цієї причини.

Тож єдине, що залишилося - це ISO. Варіація ISO може означати різний рівень шуму в різних частинах зображення. Це здається не надто поганим, враховуючи, що ви отримаєте набагато збільшений динамічний діапазон у відповідь. Я не знаю багато про те, як працюють датчики, але я б міг уявити, що настройка ISO реалізована в сенсорах як своєрідна «настройка» на певний підмножина шкали яскравості. Мені здається, було б надзвичайно дорого мати незалежне вимірювання та контроль ISO на кожній датковій комірці, але, можливо, картину можна розділити на ділянки, а кожну область відміряти окремо. Тоді камера повинна мати якийсь алгоритм для поєднання різних по-різному експонованих областей, на кшталт того, що робить "enblend", коли збирає панораму, де кожна картина має різну експозицію. Це для мене звучить виконано.

Іншим варіантом було б мати камеру з декількома датчиками, кожен налаштований на інший ISO. У відеотехнології є 3 CCD камери, де кожен CCD записує одну червону, зелену та синю. Я не бачу, чому не може бути подібної концепції для DSLR, де кілька датчиків роблять знімки на різних рівнях ISO, створюючи HDR-зображення.

На даний момент я не можу знайти інформацію, але, схоже, пригадую, читаючи опис подібної технології. Ідея була приблизно така: єдине, про що потрібно подбати, - це перекриті моменти. Якщо вам це вдасться запобігти, темні ділянки можна доглядати за рахунок збільшення експозиції всієї картини. Таким чином, для запобігання надмірних відблисків кожен датчик буде відслідковувати своє накопичене світло, і якщо це наблизиться до максимуму, датчик вимкнеться. Що само по собі нічого не поліпшило б, насправді погіршило б ситуацію, замість того, щоб було декілька яскраво-білих просвічених кольорів, можна було б отримати ще більш темні світлі кольори. Таким чином, замість того, щоб просто відключити, комірка також відключила б клітини в якомусь мікрорайоні, що збереже деяку деталь у світлих областях.

Як я вже писав, я зараз не можу знайти текст, але це якимось чином пов'язане з цифровими камерами HP.

Це можна зробити математично (теоретично): http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.64.9692&rep=rep1&type=pdf