Чому камери не записують світлові дані протягом усього затвора?

Вибачте, якщо назва питання є заплутаною, я не знаю найкращого способу сказати це слово, тому сміливо міняйте його, якщо можете придумати щось краще. Я дізнався, що електронні стулки можуть знімати зображення відразу, замість того, щоб використовувати механічний затвор, який використовує штору. Це дало мені ідею. Скажімо, даний знімок був би належним чином оголений у 1/200-х роках, але динамічний діапазон зображення є занадто широким, щоб фотоапарат міг знімати.

Чому камери з електронним затвором безперервно фіксують і записують світлові дані з зображення протягом усієї тривалості затвора, а не просто збирають світлові дані і, нарешті, зберігають його як одне зображення? Це було б як побачити кімнату, що починається з темряви і поступово збільшується в яскравості. Потім камера зможе захоплювати весь динамічний діапазон зображення та збирати дані у зображення з усім динамічним діапазоном лише за одну фотографію, замість того, щоб вимагати декількох експозицій для HDR. Це дозволить також для регулювання експозиції в постобработки без якої - небудь втрати інформації , так як камера зберігає світло дані з усього діапазону експозицій. Чому ця ідея наразі не реалізується?

Робиться це на рентгенограмах.

TimePix є 256x256 детектора. Він має три режими роботи :

• звичайна "загальна енергія в цьому пікселі з моменту початку інтеграції";
• Поріг порогового часу (TOT): виявлена ​​висота імпульсу записується в лічильник пікселів в режимі TOT; і
• Час прибуття (TOA): режим TOA вимірює час між тригером і надходженням випромінювання в кожен піксель.

Ця технологія була адаптована до оптичних зображень . Режим TOT найкраще описується таким, що діє як АЦП Вілкінсона - зчитування відповідає загальному часу, коли накопичений заряд знаходиться на рівні або вище порогового значення. Віднімання цього часу від часу затвора говорить про те, скільки часу пікселю потрібно було наситити. Таким чином, для кожного пікселя можна провести лінію від 0 до насичення протягом часу з моменту відкриття затвора. Таким чином, ви можете вибрати потрібний час віртуального затвора (поки насичені всі пікселі) і використовувати лінію кожного пікселя, щоб оцінити його накопичене світло до цього віртуального часу затвора.

Більш пряма реалізація вашої ідеї була зроблена в CMOS. Кожен піксель записує та повідомляє про свій час, щоб досягти порогової плати. (Замість ADC пікселі, які не насичуються в часі, поріг не змінюється, тому кожен піксель зрештою перевищує достатньо знижений поріг.)

Я пам'ятаю, що Pixim Digital Pixel System ( приклад ) також робив це за допомогою АЦП на піксель і неруйнівно повторно зчитував накопичений заряд (щоб отримати схил накопичення). Але я не можу знайти підтверджуючі факти.

Вам не вистачає явних проблем з цією ідеєю.

Ви хочете "безперервно" фіксувати світлові дані, але це вже робиться.

Мабуть, ви маєте на увазі наявність серії зображень після експозиції, кожне з яких було відкрито від початку до часу, що просувалося протягом всієї експозиції. Пізніші зображення мали б більше деталей у тіньових областях, але можуть мати яскраві ділянки. Прошивка камери може потім зібрати єдине зображення з більшим динамічним діапазоном, ніж будь-яке окреме зображення.

Дві головні проблеми з цим є:

• як прочитати всі мільйони пікселів так швидко і
• куди поставити результати.

Технологія сьогодні недоступна для цього.

Ви пропонуєте "Або кожен раз, коли фотон потрапляє на піксель на датчик, дайте йому часову позначку" - це була б величезна кількість даних. Швидкий пошук говорить про те, що кожен піксель - або сенсель - у цифровій камері насичується приблизно від 20000 до 100000 фотонів. Скажімо, що ми задоволені 12-мегапіксельною камерою і добре з нижньою стороною чутливості. Це ще чверть трильйона даних. Якщо ми говоримо про 50-мегапіксельну камеру з великим динамічним діапазоном, можливо, п'ять трильйонів . Навіть якщо ми зробимо, що наші часові позначки мають бути лише два байти (один байт дає лише 256 значень, тому навряд чи цього буде достатньо, щоб зробити все це вартим), це ... багато даних для одного зображення. Я маю на увазі буквально терабайт.

Це, очевидно, наразі неможливо з точки зору потоку даних за сьогоднішньою технологією, не кажучи вже про те, щоб десь її розмістити .

Те, що ви просите, безперервний вибірки світла, може бути теоретично можливим, але практично занадто дорогим. Наблизити його можна дуже високою швидкістю вибірки. Це можна зробити за допомогою високошвидкісної (сло-мо) відеокамери з дуже високою частотою кадрів. Тоді вихід може бути післяоброблений для створення зображення.

Швидкий пошук показує, як цей Phantom

Ці речі працюють за допомогою швидких датчиків і завдяки можливості переміщення та зберігання величезної кількості даних. Спроба безперервного відбору проб або достатньо швидкий показник вибірки, який виглядає безперервним, збільшує цю проблему та вартість.

Електронний затвор вже є кроком вгору. Тепер ми можемо взяти всі пікселі одночасно, потім скажемо їм припинити збирання (тобто вибірку кожного пікселя) і вимірювати інформацію для кожного кольору кожного пікселя серійно, фіксуючи дані про зображення, яке було зроблено одночасно.

Це раніше не було.

Нам все ще належить зробити деякі хаки для HDR пейзажів, хоча, однак це не погано, як це було раніше, знову ж таки завдяки прогресу в сенсорній технології. Зараз у нас більша чутливість датчика та динамічний діапазон, тому фотографія, яка раніше вимагала зйомки в двох дужках і після обробки, тепер може бути зроблена в камеру, оскільки датчик може вимірювати як максимум, так і мінімум певних зображень. Насправді датчики стали настільки хорошими, що ви рідко стикаєтесь із ситуацією, яка вимагає більше трьох знімків із скобами, щоб отримати весь динамічний діапазон. Старі датчики, можливо, потребували 5 або більше знімків із скобами.

Як я розумію, ваша ідея вимагає постійного вимірювання на основі пікселя.

Хоча це чудова ідея, впровадження залишається проблемою. Камери призначені для послідовної передачі даних із датчика. Немає лінії для кожного пікселя для процесора, натомість сенсор зображення має логіку, яка дозволяє процесору зчитувати значення для пікселя або багатьох пікселів одночасно, але не всі відразу. Він повинен перебрати всі пікселі, і це потребує часу.

Ми не можемо подолати це, тому що ми не зможемо мати 50 мільйонів проводів між датчиком і процесором. Ми могли б інтегрувати більшу частину обробки в сенсор, але датчик спеціалізується на тому, щоб робити одне, і робити це добре. Додавання цифрової схеми призведе до більшого шуму та, ймовірно, менших пікселів, навіть якщо використовуються 3D-ІС. Крім того, процеси, які використовуються для створення хорошого світлочутливого кремнію, відрізняються від процесів, які використовуються для створення хорошого, низької потужності, швидкої обробки цифрового кремнію.

Усі ці речі є перешкодами, однак для деяких спеціалізованих додатків вони вже використовуються. Зазвичай у науково-промисловій галузі.

Але це не означає, що нас залишають на холоді. Оскільки датчики покращуються, особливо в динамічному діапазоні, ви побачите, що з часом ви отримаєте "HDR" в камері без дужок - датчики будуть просто досить чутливі, щоб отримати повний діапазон, а об'єктиви та корпус камери будуть хорошими достатньо для запобігання кровотечі, відбиття та інших проблем, які не дають сенсору досягти своєї повної можливості.

Тож поки ідея непогана, вона складна, дорога, і ми все ще маємо можливість рости в інших незмінних областях, щоб ваш метод навіть не став необхідним.

Справжня відповідь - ціна. Якщо ви готові заплатити на 10-100x більше за свою камеру, ви можете отримати справді фантазійні датчики.

Бажаний результат, який ви описуєте, - це більш високий динамічний діапазон для кожного пікселя. Є кілька способів зробити це. Очевидний спосіб - отримати кращий датчик АЦП та CMOS, але це коштує грошей і не в курсі того, що ви думаєте. Наступним підходом було б висмоктування заряду в безперервному процесі, аналоговому. Це дозволить отримати безперервну функцію, що описує, скільки фотонів потрапляє в піксель. Однак подібне аналогове обладнання надзвичайно складно. У вашій камері всі піксельні дані збираються через досить невелику кількість АЦП. Частина краси наших датчиків полягає в тому, як вони можуть це зробити, випускаючи дешевше обладнання за сотнями факторів. Для цього потрібно, щоб кожен піксель мав надзвичайну кількість тонкого налаштованого аналогового обладнання.

Що підводить нас до цифрового підбору вибірки. Ви згадали ідею збирання даних кожні 1/1000-ту секунду, що підказує мені, що ви насправді не думали про безперервний процес, як про процес вибірки, де ви отримуєте багато точок даних за тонкі проміжки часу і зшиваєте їх разом. Як було сказано в інших відповідях, HDR + на деяких телефонах робить саме це. Він робить декілька фотографій швидко і змішує їх, щоб отримати ефект HDR. Для цього вони, очевидно, мають набагато більшу пропускну здатність АЦП, ніж вам потрібно для одного зображення, але їм не потрібно стільки, скільки потрібно для обробки кожного пікселя постійно.

Зі звуку цього ви хочете, щоб кожен піксель робив цей час вибірки самостійно. Для цього нам спочатку потрібно взяти участь у дизайні 3d інтегральної схеми. Ви не хочете, щоб будь-яке обладнання на кожному пікселі займало місця на поверхні датчика, або у вас виникнуть проблеми з занадто мало пікселів або втратою купи світла, коли він потрапляє на частини без датчика ІС. Єдиний спосіб досягти цього - створити 3d-чіп. Це справді технологія майбутнього. Ми починаємо вивчати, як це зробити, але це непросто. Якщо у вас є запаси для камери сотні тисяч доларів, ми можемо зробити таке.

Зрештою, це здається, що ви хочете, щоб вихід кожного пікселя був "числом з плаваючою комою" замість "цілого числа". Тобто кожен піксель мав би значення для кількості фотонів, що потрапили, і показник, який в основному говорить на скільки помножити це значення на отримання фактичної кількості фотонів. Коли піксель виявляється, він буде здійснювати вибірку з дуже високою швидкістю (можливо, 5000 ГГц), і якщо кількість фотонів стає занадто великим, він підбирає більший показник.

Тепер справжнє питання - скільки ви отримуєте від цього користі? Пам'ятайте, що підхід HDR + - це сучасна технологія, для мобільних телефонів у сотні доларів. Ви говорите про використання ультрасучасних технологій із набагато більш вимогливими відхиленнями, ніж будь-яка камера. Це надійде ціною. Що це купило у вас? Що насправді купували ці однопіксельні пристрої під час затвора, що дешева технологія CMOS, яку Google натискає, не зробила? Відповідь не багато. Можливо, є кілька маленьких крихітних випадків, коли це є кращим підходом, але з ціною, значно вищою за існуючі технології, це комерційний нестандарт.

Щось дуже схоже реалізується. Він все ще функціонує за допомогою чітко виражених кадрів, оскільки є значні переваги цифрового, а не аналогового підходу. Але підходи існують з часовою роздільною здатністю в піко секунди.

https://www.ted.com/talks/ramesh_raskar_a_camera_that_takes_one_trillion_frames_per_second

Чому камери з електронним затвором безперервно фіксують і записують світлові дані з зображення протягом усієї тривалості затвора, а не просто збирають світлові дані і, нарешті, зберігають його як одне зображення?

Я думаю, що ви насправді пропонуєте тут описувати зображення не з точки зору "скільки світла було зібрано за всю експозицію?" а швидше "наскільки яскравою була сцена в кожній точці?" Це чудова думка, і я можу придумати кілька способів зробити це, але все, що у них є спільне, - це те, що вони додають сенсор складності.

Виробники камер давно працюють над створенням більше пікселів, і я б здогадався, що збереження структури кожного окремого пікселя допомагає у цьому. Тепер, коли DSLR зазвичай мають датчики від 20 до 50 мільйонів пікселів, можливо, ми побачимо, що вони замість цього створюють кращі пікселі. Ми вже бачимо, що в чомусь - подвійний піксельний автофокус - один із прикладів. І, безумовно, є компанії, що працюють над побудовою датчиків, які забезпечують більш динамічний діапазон , менше шуму тощо.

Коротше кажучи, я думаю, що, ймовірно, ми побачимо щось уздовж того, що ви запропонували в майбутньому, навіть якщо це не зовсім так, і причина, що ми вже там не є, мабуть, саме ця інші цілі, такі як збільшення щільності пікселів, були більш високими пріоритетами в минулому.

Це можна зробити дещо по-іншому. Замість однієї картини ви берете кілька кадрів з різним часом експозиції. Потім ви складаєте зображення, щоб отримати якусь середню, залежно від алгоритму, який ви використовуєте для укладання.

Наприклад, з недавнім повним затемненням сонячної енергії кількість корони, видимої неозброєним оком, була набагато більшою, ніж та, яку показав би один час експозиції для камери. Це тому, що око має логарифмічний динамічний діапазон, тоді як око має лінійний динамічний діапазон. Тож, укладаючи різні часи експозиції, ви можете набагато краще наблизити до картинки те, що спостерігали спостерігачі.

Режими Olympus Live Bulb та Live Time йдуть у напрямку, яке ви описуєте.

З посібника OM-D E-M5 :

Щоб переглянути хід експозиції під час зйомки, виберіть інтервал відображення для [Live BULB] (Стор. 89) або [TIME Live] (Стор. 89).

Ось відео . Зауважте, що ви отримуєте лише одну експозицію наприкінці, навіть якщо під час процесу ви бачите декілька. Пікселі датчиків дбають лише про загальну кількість фотонів, які вони отримали під час опромінення, вони не знають, коли і в якому порядку ці фотони приземлилися на датчик.

Ви маєте правильну ідею. Sony по суті робить щось для цього в RX100M5 та інших камерах, які мають функцію, яку вони називають D-Range Optimizer - аналізуючи сцену, коригуючи та компенсуючи неполадки.

Функція оптимізатора D-діапазону миттєво аналізує захоплені дані зображення та автоматично коригує для оптимальної експозиції та відтворення тону. Часто під час зйомки сцен із підсвічуванням обличчя предмета чи інші ділянки в тіні на фотографії виглядають темнішими, ніж вони здаються людському оці. Функція оптимізатора D-діапазону розмежовує різні умови для сфотографованих сцен, автоматично виправляє гамма-криву, рівень експозиції та інші параметри, щоб видалити ділянки, темніші, ніж вони виглядали б для людського ока.

Функція оптимізатора діапазону D також містить стандартний режим, який регулює все зображення рівномірно (ефективно для корекції таких аспектів, як експозиція), і розширений режим, який автоматично виправляє області в композиції. Використовуючи режим «Розширений», фотограф може створити чітку картину, де і предмет, і фон зображуються з відповідною яскравістю, навіть коли є велика різниця в яскравості обох.

джерело: https://sony-paa-pa-en-web--paa.custhelp.com/app/answers/detail/a_id/26259/~/what-is-the-function-of-d-range-optimizer % 3F