Які плюси і мінуси різних алгоритмів деморажування Bayer?

Датчики Bayer використовують малюнок червоних, зелених та синіх пікселів і об'єднують їх у кінцеве кольорове зображення, по одному пікселю для кожного датчика кольорів . Це можна зробити за допомогою "наївного" змішування сусідських датчиків, але я чув про більш складні підходи з такими іменами, як AHD, HPHD та AMaZE.

Що це за інші підходи та які переваги вони приносять? Чи є у них слабкість, що перевищує складність обчислень?

Я думаю, що підхід, використовуваний для JPEG в камерах, є більш чітко захищеним, але очевидно, що багато досліджень і розробок іде в цій галузі. Чи обмежена доступна потужність обробки в камері примушує компроміси в цій галузі?

Я був здивований кілька місяців тому, коли виявив, що моя камера машинного зору SDK використовувала найближчу сусідську "інтерполяцію" у вбудованій функції байєра. Це найшвидший, але найгірший тип, який дає жорсткі краї, особливо коли ви починаєте робити математику на каналах зображення для сталості кольорів або інваріантності яскравості. Я знайшов цей огляд алгоритмів:

http://www.arl.army.mil/arlreports/2010/ARL-TR-5061.pdf

Наступним кроком є ​​білінеарні та бікубічні інтерполяції, які можна обчислити досить швидко, оскільки вони складають лише ядра згортки. Вони дають кольорові пилки на похилих краях - білінеарніші, ніж двостулкові.

Можна побачити в цій роботі і з кількісно оціненими даними про якість за 5 різними алгоритмами:

http://research.microsoft.com/en-us/um/people/lhe/papers/icassp04.demosaicing.pdf

Ось чому вони зробили крайові інтерполяції в напрямку напрямку. Однак, вони трактують зелений колір як "важливіший канал" (оскільки він має найкращу роздільну здатність і враховує більшу частину нашої зорової чутливості та роздільної здатності наших очей). І тоді вони створюють синій і червоний як функцію зеленого каналу, зберігаючи відтінок. Це, в свою чергу, робить вміст зелених каналів високочастотним більш схильним до помилок. Складність вище, оскільки вони повинні виявляти, що відбувається, і вимагають декількох пропусків. Моїр та кукурудза є загальними артефактами цих типів інтерполяції.

Тут показані приклади адаптаційного деморажування гомогенності та білінеарних версій із і без збереження відтінку та крайового збереження добавок:

http://math.auburn.edu/~kilgota/ahd_bayer.pdf

Цей документ віддає перевагу AHD і не показує негативної частини. На цій сторінці ви можете побачити різні артефакти візерунка від адаптаційного деморажування однорідності, згрупованого піксельного угруповання та змінної кількості градієнтів (наведіть курсор миші на імена):

http://www.ruevski.com/rawhistogram/40D_Demosaicing/40D_DemosaicingArtifacts.html

Підсумовуючи, існує ряд припущень, що використовуються в цих алгоритмах, і артефакти виникають, коли припущення не відповідає:

• За рівність каналу. Якщо найближчі сусіди не однакові, зробіть перехід плавним. Артефакт: пилки / блискавки, м'якість
• Константність яскравості з направленими краями (білінеарний напрямок). Артефакти: високочастотний текстурний муар, кольорова облямованість
• Сталість відтінку. якщо в районі відтінок однаковий, тож якщо один канал змінюється, інші повинні слідувати. Артефакти: кольорові блискавки на кольорових краях
• Сталість можна передбачити із зелені. Артефакт: лабіринти

Я трохи почав грати з цим і виявив, що наївний підхід не все так погано. Це просто обробляти кожен колір окремо та інтерполювати, щоб отримати проміжку між пікселями. Основним недоліком цього є те, якщо ви піксель визирає в тому місці, де є висока контрастність, ви можете побачити невелику кольорову облямівку. По-іншому, якщо у вас світло-сіра зона, що прилягає до чорної області, на кордоні ви побачите кілька кольорових пікселів. На щастя, ці середні загалом, але якщо край майже вертикальний або майже горизонтальний, вони в середньому перевищують низьку частоту. Цей же ефект може бути ще більш очевидним на тонких яскравих лініях, майже вертикальних або горизонтальних.

Ось приклад. Ця фотографія була зроблена навмисно як тестовий кадр:

Зверніть увагу на видиме обв’язування лінії хромованої обшивки. Щоб поставити це в перспективі, ось повний кадр:

Я думав про альтернативний підхід, але поки що завжди було інше, що слід зробити. Ця схема намагалася б спочатку знайти саме яскравість . Це був би єдиний канал даних про зображення, якби зображення було чорно-білим. Кожен датчик вносить певний внесок у це, хоча кольори не сприяють однаково. Після того, як буде визначена інтенсивність, ви б потім інтерполювали кольори, як у наївному методі, але використовували результат лише для встановлення кольорів таким чином, щоб зберегти інтенсивність. Інтенсивність матиме більшу пропускну здатність або бути чіткішою у фотографічному плані, ніж інформація про відтінок. Аналогічне телебачення використовувало цей трюк, щоб зменшити вимоги до пропускної здатності кольорового зображення. Вони пішли з цього, тому що зорова система людини надає більшого значення інтенсивності, ніж кольори, особливо червоний.

У всякому разі, це лише деякі думки. Як я вже говорив, я ще цього ще не намагався і не розробив деталі. Якогось дня.

Наскільки я розумію, різні версії процесів у Lightroom (на сьогоднішній день у нас 2003, 2010 та 2012 рр.) Між іншим відповідають різним алгоритмам демозавіювання. Ще одне цікаве програмне забезпечення - UFRaw, яке пропонує наступне (цитата з веб-сторінки):

Після встановлення балансу білого UFRaw інтерполює схему Bayer.

• Інтерполяція AHD - це інтерполяція, орієнтована на адаптивну гомогенність. Це інтерполяція за замовчуванням.
• Інтерполяція СПГ використовує порогову інтерполяцію змінної кількості градієнтів. Це було інтерполяцією за замовчуванням, і це все ще дуже добре .
• Інтерполяцію VNG чотирьох кольорів слід використовувати, якщо на фотографії ви знайдете артефакти візерунка Bayer ( докладнішу інформацію див. У поширених питаннях DCRaw ).
• Інтерполяція PPG розшифровується як інтерполяція з узором піксельних груп. Це майже так само добре, як і все вищезазначене, і набагато швидше.
• Білінеарна інтерполяція є дуже базовою інтерполяцією, але вона набагато швидша.

Це може забезпечити деякий матеріал для експериментів. До речі, UFRaw виявляється відкритим кодом, що дозволяє зазирнути в самі алгоритми.

В астрофотографії ця тема досліджується глибоко, тому що при використанні однокадрового кольорового датчика багато втрачається роздільної здатності шляхом деберингу. Зверху, використання файлу RAW все ще отримує доступ до вихідних даних, і він може бути оброблений перед кольоровим додатком. Ця тема близько до програмної частини речей.

Коротше кажучи, якщо у вас є доступ до безлічі зображень з однаковими предметними даними (що робиться для зменшення шуму датчика), ви можете торгувати конвертацією одного кадру за допомогою AHD для підходу, що може втратити дозвіл. Вибір залежить від того, який тип вихідних даних у вас є. Більшість фотографів мають лише одне зображення.

Деякі програми, які я використовував для вибору процесів Debayering, це: Deep Sky Stacker і Pix Insight. Є й інші. Багато хто заснований на DCRAW .

Ось посилання на статтю на сторінці Decker Sky Stacker, де вони обговорюють деякі варіанти: Debayering Choices