Реалістичне відображення: які процеси людського ока та мозку мені потрібно враховувати?

Метою фотореалістичного відображення є мета відображення зображення таким чином, як реальна камера захоплює його. Хоча це вже амбітна мета, для певних сценаріїв ви можете скористатись далі: створити образ так, як людське око захопило б його або навіть так, як людина сприйме його. Ви можете назвати це візіореалістичним або перцептіореалістичним візуалізацією , але якби хтось міг придумати вигадливіший термін (або сказати мені, що такий вже існує), я би вдячний.

Ось декілька прикладів, щоб зробити своє зрозуміле. Коли ви робите знімок з камерою при низькому рівні освітлення, у вас є хороший об'єктив, або ви отримуєте галасливі зображення. Для людського спостерігача скотопічний зір починає створювати ефект Пуркіньє (кольори зміщуються в бік синього). Цей ефект залежить від інформації про яскравість HDR, яка втрачається, коли я відображаю зображення на дисплеї LDR. Крім того, людський мозок може використовувати інформацію про глибину, щоб "фільтрувати" сприймане зображення - інформацію, яка втрачається під час остаточного (нестерео) відображення.

Складання вичерпного списку, мабуть, недосяжна мета. Не могли б ви запропонувати деякі наслідки для ока та мозку, які мені потрібно було б розглянути?

ви можете взяти його далі: візуалізуйте образ так, як людське око захопило б його або навіть так, як людська істота сприйме його.

Є два способи інтерпретувати це. Я зроблю і те, і інше.

Інтерпретація 1: Надайте зображення, яке виглядає реалістично.

Зрештою, ваше зображення ще потрібно десь відобразити . Ось ключовий: ви хочете рендерувати своє зображення таким чином, що коли ви * відображатимете * це зображення на певному дисплейному пристрої, воно буде створювати те саме відчуття, що і оригінальне радіометричне зображення.

Ось як розпакувати цю ідею.

У реальному світі радіометричні спектри (тобто реальні розподіли світла) потрапляють у ваше око і стимулюють приблизно ¹ чотири світлові рецептори. Стимуляція рецепторів виробляє кольорові відчуття, які ми асоціюємо із зображеннями.

При візуалізації ми не маємо довільного контролю над спектрами, які ми виробляємо. На щастя, оскільки у нас (як правило) є лише три шишки, кожна з яких дає лише скалярне значення, кольорове бачення можна відтворити, використовуючи рівно три праймери. Суть полягає в тому, що ви можете створювати будь-які кольорові відчуття, використовуючи лінійну комбінацію лише трьох довжин хвиль (до кількох кольорів, які можуть бути негативними; у цьому випадку ви просто використовуєте різні праймери).

У вас немає вибору праймеріз. Практично всі пристрої кольорового відображення використовують стандарт sRGB, який забезпечує три праймери (які фактично зазвичай не мають однієї довжини хвилі). Це добре, тому що виявляється, це все абстрагується і вам не потрібно піклуватися.

Для уточнення безладу, що сприймає точну візуалізацію, ось алгоритм:

1. Намалюйте своє зображення, використовуючи правильні радіометричні обчислення. Ви відстежуєте окремі довжини хвиль світла або відра довжин хвиль. Що б там не було. Зрештою, у вас є зображення, яке має представлення спектру, отриманого в кожній точці.
2. На кожному пікселі ви берете спектр, який ви надали, і перетворюєте його в кольоровий простір CIE XYZ . Це допомагає інтегрувати добуток спектру зі стандартними функціями спостерігача (див. Визначення CIE XYZ) .
3. Це дає три скалярні значення, які є кольорами CIE XYZ.
4. Використовуйте матричне перетворення, щоб перетворити це в лінійний RGB, а потім звідти використовуйте лінійне / силове перетворення для перетворення лінійного RGB в sRGB .
5. Перетворіть з плаваючої точки в uint8 і збережіть, затискаючи значення поза діапазоном (ваш монітор не може їх представляти).
6. Відправити uint8 пікселів до кадру кадрів.
7. Дисплей приймає кольори sRGB, робить зворотне перетворення для отримання трьох праймеріз певної інтенсивності. Кожен масштабує вихід будь-якого елемента зображення, за який він відповідає. Елементи зображення загоряються, створюючи спектр. Цей спектр буде (сподіваємось) метамером для вихідного спектру, який ви надали.
8. Ви сприймаєте спектр так, як сприймали б виведений спектр.

Тлумачення 2: Спроба моделювати кінцеві дані, які людське око може отримати для цілей візуалізації або компенсації для відображення LDR.

Ця думка має менш корисне значення, я думаю. По суті, ви намагаєтеся створити образ, який налаштовує те, як мозок сприймає це для розваги / прибутку.

Наприклад, цього року в SIGGRAPH був документ, де вони імітували зображення і зменшення кольорів, щоб зображення виглядало по-різному. Звичайно, єдина причина, по якій вони це роблять, - це те, що дисплеї, з якими ми працюємо, мають низький динамічний діапазон (LDR). Сенс полягає в імітації ефектів, які хтось може побачити, потрапляючи на реальний дисплей високого динамічного діапазону (HDR) як фактичні дані зображення.

На практиці це виявляється не дуже добре. Наприклад, для фотографій ми бачимо, як дуже яскравий стимул виснажує кольорові клітини. Якщо ви натомість спробуєте стимулювати ефект за допомогою фальшивого відтінку, це може виглядати схоже на киндо, але оскільки це зовсім інший механізм, це не дуже переконливо.

Цей вид графіки насправді недостатньо досліджений в літературі, якщо ви хочете зробити це на цьому. Згаданий документ є прикладом більш-менш сучасних підходів, які ми маємо. Я думаю, що теперішній консенсус полягає в тому, що насправді не варто намагатися імітувати (принаймні, в цей час), оскільки в кращому випадку ви лише наближаєте реальні ефекти до зору, замінюючи різні, і що це насправді не так робота.

¹ стрижень + 3 * шишки, звичайний корпус. Орієнтовна, тому що у людини може бути як мінімум функціональних рецепторів світла до максимум семи (найвищий показник, який колись спостерігався, - п'ять).

Що стосується сприйняття, то тут також виникає питання про те, про що ми майже сліпи (щодо властивостей чи артефактів), і що ми змусили сприйняти.

Наприклад, що стосується звуку, у вас є контраст або частоти, які роблять вас менше або не знають іншого вмісту (стара папір SIGGRAPH ілюструє, як текстура може маскувати роздільну здатність сітки), а також всі аспекти часу (google для "зміни сліпоти"). Аналогічно, деталі поверхні, нормалі, BRDF можуть бути або не видно залежно від значень та відносних значень.

Оскільки наша сприйнятлива система має тенденцію адаптуватися на місцевому та глобальному рівні, для низькочастотних значень важливо мати максимуми та мінімуми в потрібних місцях, але їх точне значення насправді не помітить.

Іноді пізнання може бути таким, як ти допускаєш багато помилок у хмарах та деревах, але напевно менше в людських обличчях. (Іноді ви можете знизити це до статистики параметра для даної категорії.)

Тому я вважаю за краще використовувати слово "правдоподібний", а не "фотореалістичний".

Навпаки, ми надзвичайно чутливі до артефактів, таких як помилкові пікселі або мерехтливі пікселі, ультра чутливі до кореляцій, таких як фронти помилки лише рівня 1 сірого, небажані візерунки, такі як Moiré, псевдонім або погані випадкові випадки тощо.

До речі, це одна з причин того, що рішення, що базуються на оптимізації, що підсумовують все з простої енергії, можуть бути дуже поганою ідеєю, сприйнятливо кажучи, оскільки у всіх парадоксальних ситуаціях це може бути схильне до концентрації помилок у рядках чи точках. З тієї ж причини люди раннього глобального освітлення були дуже розчаровані тим, що енергетичні точні рішення були менш прийнятими, ніж тіньові приблизні тіні (а потім надходили з квадрового дерева, заснованого на сітчастих адаптивних методах).

(Цілком загальний огляд сприйняття графіки можна знайти в цьому курсі SigAsia'11 на тему "Сприйняття графіки, візуалізації, віртуальних середовищ та анімації"