Як працює Super Resolution?


10

Вибираючи з цього питання, я читав статтю у Вікіпедії, але не можу зрозуміти, чому розміщення копій одного і того ж зображення повинно покращувати роздільну здатність зображення?

Відповіді:


13

Процес складний, але це має дати інтуїцію щодо того, що відбувається. Уявіть, у вас є звичайна камера, але з двигунами для переміщення датчика на пів пікселя в будь-якому напрямку.

Замість того, щоб робити одне зображення, ця камера займає чотири: одна по центру, одна зміщена на половину пікселя вправо, одна зміщена на половину пікселя вниз, а одна зміщена на половину пікселя вправо і половину пікселя вниз.

Потім ми можемо взяти зображення в центрі, зробити його подвійним розміром, розподіляючи пікселі так:

xxxx               x x x x 
xxxx      ____\    
xxxx          /    x x x x 
xxxx               
                   x x x x

                   x x x x

Тоді ми можемо заповнити прогалини, використовуючи інші зміщені зображення, 1, 2 і 3:

x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323

Залишаючи нас із зображенням у два рази дозволом. Досить цікаво, що є такі камери, ніж використовують цю техніку - наприклад, Hasselblad H4D-200MS (вибачте, якщо вам доведеться запитати, скільки ви не можете собі дозволити).

Суперроздільна здатність зі стандартною камерою є дещо складнішою, оскільки, коли у вас неконтрольована камера або рух об'єкта, ви не потрапите ніде біля точного зсуву в півпікселя, але, якщо вам не дуже пощастило, ваше зміщене зображення буде дещо компенсовано від оригіналу. Комбінуючи достатню кількість зображень, ви отримаєте дуже нерегулярне вибіркове зображення (із зразками пікселів, які не потрапляють на сітку), але таке, яке можна інтерполювати (шляхом відстеження ліній між зразками, щоб відгадати результат, який дійсно падає на точну сітку) у звичайний образ.


1
Важливо пам’ятати, що рух не повинен відбуватися всередині камери, це можна зробити, перемістивши саму камеру. Ось чому супер роздільна здатність дуже добре працює з відео, оскільки камера майже завжди матиме крихітні рухи між кадрами.
Хокон К. Олафсен

Ця мряка або дрімота широко використовується при цифровій астрофотографії. Багато окремих зображень укладаються, щоб зменшити шум, властивий зображенню, в той же час є можливість відновити значні деталі та роздільну здатність.
smigol

і як складання кількох копій однієї фотографії може цього досягти? Я розгублений, тому що після укладання вам доведеться вирівняти, і це скасує зсув між пікселями, що виглядає як основна ідея супер роздільної здатності
K ''

1
@AkramMellice - укладання того ж не робить цього. Програмне забезпечення можна використовувати для вивчення та потенційного "заповнення" інформації на основі іншої інформації на зображенні, але це було б менш ніж ідеально ... У будь-якому випадку було б неймовірно приголомшливо, якби Pentax додав цю функцію, щось цілком можливо враховуючи, що їх анти-тремтіння знаходиться на датчику, і це є різницею в тому, як вони роблять астротрек з GPS-пристроєм.
Джон Каван

3

Вважайте, що датчик не є ідеальним пристроєм захоплення. Кожен піксель буде записаний з деякою кількістю помилок. Наприклад, якщо найбільш точне значення пікселя N, датчик запише значення, яке знаходиться в діапазоні N-E to N+Eдля даної E. Для хорошого датчика Eмало, поганого датчика буде більший E.

Також зауважте, що при кожному опроміненні певний піксель матиме різну помилку, комірки датчика не мають пам'яті, тому піксель, який вийшов низьким один раз, може вийти високо в наступному.

Коли ви берете кілька експозицій одного і того ж предмета і середнє їх оцінювання, ви ефективно зменшуєте E. У нашому прикладі пікселя вище, ви будете усереднювати купу різних значень, які знаходяться навколо невідомого N, тому середнє значення наблизить вас до цього ідеалу N.


3
Це не просто зменшення помилок - адже в цьому випадку це НЕ ГОЛОВНЕ зменшення помилок - це отримання БІЛЬШЕ інформації шляхом повторного захоплення номінально одних і тих самих даних та пошуку додаткової інформації, яка присутня з роздільною здатністю, яка краща, ніж крок датчика. Допомогти цьому допоможе додавання деякої механічної забарвлення до датчика між пострілами, а потім їх повторне вирівнювання. // DSLR A77 Sony і деякі інші Sony мають багатозахисний режим агрегування з низьким рівнем шуму, який НЕ є просто програмою усереднення. Можна істотно перемістити камеру, оскільки вона займає 6 кадрів і все одно отримає покращене зображення.
Рассел Макмахон

1
Це пояснює, як працює укладання зображень для зменшення шуму. Хоча надмірний шум може заважати вам розбирати деталі, надроздільна здатність відрізняється, оскільки для збільшення роздільної здатності потрібен хоча б деякий рух камери.
Метт Грум

Як вже було зазначено, те, що ви описуєте, - це не супер роздільна здатність, а складання зображень. Це не збільшує роздільну здатність, але зменшує шум.
Хокон К. Олафсен

Хоча в заголовку питання згадується надроздільна здатність, питання в тілі запитує про "укладання копій одного і того ж зображення". Те, що я пояснив, насправді є одним із багатьох способів підвищення роздільної здатності ваших знімків, і це можна зробити за допомогою будь-якої камери.
Мігель

1

Далі, як я розумію речі. Люди повинні сміливо вказувати на будь-які помилки, щоб ми всі були споруджені, але, сподіваємось, насправді вкажуть на будь-яке їх місце, а не просто бурмочуть у своєму пиві. (або бороди, або ...).

Простіше кажучи, на різних фотографіях є дещо інша інформація, і різні методи використовуються для виявлення та вилучення цієї додаткової інформації та комбінування її послідовно адитивно.

Варто зазначити, що система не гарантовано працює у всіх випадках.
[Сторінка Super-Resolution у Вікіпедії] зазначає:

  • У найпоширеніших алгоритмах SR інформація, отримана в зображенні SR, була вбудована в LR-зображення у вигляді псевдоніму.

    Це вимагає, щоб датчик зйомки в системі був досить слабким, щоб наслідування насправді відбувається. Дифракційна система з обмеженою дифракцією не містить аліасів, а також не система, де загальна функція передачі модуляції системи фільтрує високочастотний вміст.

Псевдонім - це здатність системи належним чином представляти дані відповідних частот. Дивіться "пояснення" як кінець.

Якщо я правильно їх розумію (а я можу чи не можу), їх фраза "досить слабка" означає, що це додаткова інформація про те, що датчик не може сам вирішити, що зазвичай вважається поганим, тому, як правило, придушується VBUT що цей "псевдонім" додаткова інформація потрібна системі SR. Nikon D800r не має оптичного фільтра на антисенсифікаторі, тоді як std D800 і майже всі інші DSLR мають такий фільтр.

MTF - це ефективно здатність об'єктива створювати контрастність АБО та створювати "різкість" (обидва тісно пов'язані між собою. MTF зазвичай найкраще розташований поблизу середини об'єктива і, при прямокутному зображенні, падає до країв і, як правило, більше в кутах зображення Вони говорять про те, що здатність системи створювати зображення над роздільною здатністю залежить від її здатності надавати контраст і різкість - тобто від її якості, тобто об'єктив повинен бути принаймні таким же хорошим, як об'єктив, який би створював супер rsolutionj iomage безпосередньо, якщо можливості сенсора та процесу були покращені.


Згладжування - це те, що інформаційний потік відбирається настільки повільно, що частина високочастотної інформації змінюється швидше; y порівняно зі швидкістю вибірки та "загортається", і, здається, це дійсно нижча частота. У системі обмеження частота дискретизації повинна бути щонайменше вдвічі більшою, ніж наявна швидкість інформації, але на практиці потрібно дещо вищі темпи, ніж це потрібно.

Простий приклад:

  • Розглянемо послідовність 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 ...

    Зрозуміло, що існує візерунок, який повторюється кожні 12 одиниць.
    Це трикутник, який збільшується на 6 циклів і зменшується ще на 6 циклів, а потім повторюється, з періодом = 12 одиниць.

    Тепер вибирайте послідовність лише кожного 11-го разу. Ми отримуємо
    0 1 2 3 4 5 6 5 4 3 2 1
    Це точно та ж картина, Але вона змінюється в 11 разів повільніше - хвиля трикутника з періодом 11 х 12 = 132 одиниці.

    Зробіть одну і ту ж послідовність кожні 8-й раз, і ви отримаєте 0 4 4 0 4 4 0 4 4,
    тобто це виглядає як квадратна хвиля 1: 2 з періодом = 24 одиниці.

    Будь-який період вибірки, більший за 6 одиниць часу = пів циклу, призведе до таких помилок збитку.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.