Наскільки релевантні оцінки та тести DxOMark?

Мені рейтинг датчика DxOMark здається трохи химерним. Нещодавно вони оцінили датчик Nikon D3300 таким же балом, що і Canon 1Dx, який, на мене, навряд чи відображає їхні показники, а також мене дуже скептично ставляться до їх системи балів.

Я ціную їх вимірювання датчика, що призводить до того, що це інструмент для порівняння різних датчиків камери, але вони дійсно актуальні? Наскільки я знаю, немає документації щодо того, як оцінюється оцінка за балами динамічного діапазону, чутливості до кольорів та низької освітленості ISO. Також DxO Labs зацікавлений у продажі свого програмного забезпечення, а не безпосередньо у наданні наукових інструментів бенчмаркінгу, і він може бути дуже упереджений до певного виробника.

Наскільки корисні результати DxOMark і як ви можете використовувати його для порівняння різних камер?

Основні "бали" DXOMark абсолютно марні. ІГНОРНІШ ІХ. Це марне намагання спробувати зменшити складне ціле, наприклад, DSLR, до єдиного скалярного числа, яке говорить вам про це все. Це помилка. Існує занадто багато факторів, які слід враховувати, і які фактори найбільш важливі для даного фотографа, відрізняються. Один бал повністю перемагає мету проведення вимірювань в першу чергу.

Що стосується інших результатів DXO, таких як слабке освітлення та краєвид та ще, прийміть їх із здоровенною дозою солі. Їх загальні бали мають велику вагу і часто базуються на похідних вимірах, а не на фактичних вимірюваннях. Наприклад, оцінка "Пейзаж" базується на "мірі" друку DR. Проблема полягає в тому, що DXO насправді не вимірює друку DR, оскільки він не базується на зразках, взятих з реальних знімків, знятих із зображення. Друк ДР - це проста математична екстраполяція з ІСТИЧНО-вимірюваного динамічного діапазону датчика.

З цього приводу Print DR насправді нічого не розповідає про сенсор. Коли DXO каже, що у D800 і D600 встановлено 14,4 зупинок DR, тобто Print DR, який екстраполюється з фактичного апаратного DR, що становить 13,2 зупинки. Те саме стосується датчиків Canon. Коли DXO повідомляє вам, що датчик має 12 зупинок DR, це насправді не так. Насправді більшість датчиків Canon на апаратному рівні мають близько 10,95 зупинок DR.

Однак проблема є гіршою, ніж ця. Значна частина інформації про оцінку глибини кольору та чутливості до кольорів зважується, як і багато показників на основі ISO. Ваги базуються на камерах, що досягають певних порогових значень, наприклад, що SNR за певним ISO перевищує певний рівень. Це дає певний "бонус" за рахунок цієї камери. Щойно у гру вступає будь-який ваговий бонусний бал, ваша здатність безпосередньо порівнювати що-небудь за будь-яким рахунком повністю виходить з вікна. Тепер ви знаходитесь на нелінійному ігровому полі, де ви, чесно, не знаєте, чи була ця камера Nikon із оцінкою 95 сильно зваженою щодо цієї камери Canon тут із оцінкою 80.

Що стосується фактичних вимірювань, інформація про DXO - це одна з найкращих доступних. Їх міри SNR, Screen DR, чутливості до кольорів тощо є досить звуковими, оскільки вони взяті безпосередньо з декількох зразків зображень RAW для кожної перевіреної камери. Їх методологія тестування є досить суворою, і нічого не свідчить про те, що частина їх методології має бути сумнівом. Науково, що стосується того, як вони тестують і що вимірюють, DXO має суцільну практику та надійну інформацію.

DXO - це дійсно змішана сумка. Вони можуть мати суцільну практику тестування, але їх оцінка, враховуючи, що вона часто базується на математично виваженій, зваженій інформації та тому, що пара їхніх балів часто отримують "бонусні" бали просто за дотримання певних порогових значень, повністю знижує всю точку з того, що робить DXO: Створює лінійний бал для кожної камери, що дозволяє легко порівняти камери. Початок було хибною концепцією, з однокористувальним підрахунком, але вони зробили це набагато гірше тим, як вони обробляють фактичний процес підрахунку.

Загальний рахунок

Я взагалі ігнорую загальний бал, оскільки це занадто загально, якщо ви розумієте будь-який з балів.

Загальний бал - це функція різноманітних (досить) детермінованих тестів, кожен з яких досить інформативний, і більшість (якщо не всі?) Мають чіткі одиниці вимірювання. Але потім вони генерують "бал", який поєднує ці показники, з різними вимірами. Це як би порівнювати один автомобіль з іншим, додаючи їх максимальне прискорення (м / с / с), розмір паливного бака (L), максимальну швидкість (км / год) та кількість пасажирів, які вони можуть перевезти. Усі хочуть по-різному зважувати різні компоненти, тому загальна оцінка стає неактуальною.

Використовуйте результати балів

Як ви кажете, Canon 1DX отримав такий же загальний бал, що і Nikon D3300, але зауважте, що існують великі відмінності, навіть лише на підсумковій сторінці "Оцінки":

• Оцінка "Пейзаж" (він же, динамічний діапазон) - 11,8 проти 12,8 ЕВ (1 зупинка краще на D3300)
• Оцінка "Спорту" (aka Low-Light ISO) становить 2786 проти 1385 ISO (на 1DX краще зупинка)

Ці " Результати використання випадків " вже набагато конкретніші та розмірні, і вони набагато кращі порівняння.

Це сказало, що вони теж є

1. не обов'язково легко зрозуміти, і
2. не обов'язково корисне вимірювання для всіх застосувань

Наприклад, випадок використання "Спорт / низький рівень освітлення" є

Із низьким рівнем освітлення ISO - це найвищий показник ISO для камери, що дозволяє досягти SNR 30 дБ, зберігаючи при цьому хороший динамічний діапазон 9 ЕВ та глибину кольору 18 біт.

Ці вибрані значення є довільними, але корисна частина полягає в тому, що вони послідовно використовуються для вимірювання всіх датчиків однаковим чином. Це означає, що, дивлячись лише на одне значення, ви принаймні можете порівняти яблука з яблуками. Наскільки добре порівнюють сенсор A і датчик B для однієї конкретної точки даних. Це корисне порівняння, оскільки всі датчики мають більшу ефективність при нижчих ISO, і всі мають тенденцію до подібних падінь при збільшенні ISO тощо. порівняння загального призначення

Вимірювання

Якщо зайти в розділ "Виміри" порівняння, ви почнете бачити ще кілька корисних порівнянь. Багато даних, у багатьох різних умовах. Ось звідки ви можете почати відповідати на запитання на кшталт "Наскільки менше шуму ISO буде отримуватися від камери A проти камери B в ISO6400?" Або якщо ви вже знаєте, що з вашою поточною камерою до ISO 1600 у вас все в порядку, то для порівняння інших камер ви можете використовувати SNR для своєї камери за ISO 1600 (у цьому випадку буде аналогічна кількість зображення шуму в 1DX при ISO 3200, як у D3300 при ISO 1600). Ну, навіть це не зовсім вірно, оскільки дані SNR на 18% сірі!

Порівняння продуктивності між складними пристроями з багатьма розмірами / ступенями свободи є суттєво складною проблемою. Часто можна порівняти окремі тести досить добре, але проблема полягає у пошуку загальних тестів, які швидко та легко відображають відносну чи абсолютну ефективність. Я думаю, що результати "Use Case Scores" значною мірою досягають цього, але лише тому, що технологія більшості датчиків досить схожа, що дозволяє робити узагальнення на кшталт того, що вище щодо 1DX "кращою зупинкою" для шуму при слабкому освітленні . (Уявіть собі, якщо шум датчика не був простою функцією ISO для всіх датчиків!)

Майте на увазі також, що один датчик перевершує інший, не обов'язково корисний . Продуктивність ISO (SNR 18%) D3300 та 1DX по суті не має значення при зйомці JPEG яскравої сцени денного світла. Більш корисними будуть такі речі, як динамічний діапазон (для деталей тіні / підкреслення з різкими тінями). І навіть тоді, знімаючи JPEG, ви не отримаєте набагато більше з більшого динамічного діапазону (є трохи стиснення тонів для формування JPEG, але обидва все ще здатні перевершити 8-бітний динамічний діапазон JPEG). Повторюючи аналогію автомобіля, це як порівняння максимальної швидкості та прискорення між автомобілями для міських маршрутів. Ви ніколи не потрапите на межі будь-якого «швидкого» автомобіля, тому його різновид не має значення для цієї програми. Вам дійсно потрібно добре розуміти конкретний додаток, якщо ви хочете змістовно порівняти два датчики, і саме тут ви хочете знати:

1. Фактичні вимірювання для порівняння (не лише загальні бали)
2. Які вимірювання корисні для застосування
3. Яка межа корисності для конкретного показника ефективності

Підсумок

Загальна оцінка досить марно, крім як на Насправді загальне керівництво по чиїм - то зважування споживчих випадків (не обов'язково ваші!) С.

Результати використання справ є набагато кращими орієнтирами для кількох загальних тенденцій продуктивності між різними датчиками.

У Вимірювання дозволяють зробити свої власні порівняння, якщо ви знаєте , що порівнювати, і є додаток на увазі. Також важливо знати, наскільки "достатньо", або коли ви отримуєте "зменшення прибутку" для будь-якої програми.

Якщо ви справді не розумієте електроніку, оптику, фізику ... абсолютні цифри, мабуть, досить безглузді.

Я довіряю DXoMark про те, наскільки я можу їх кинути, і я не особливо хороший у пострілі. Вони є цікавим джерелом інформації про умови в лабораторіях і можуть бути іноді корисними при порівнянні камер того ж виробника, але в тестах занадто багато змінних, які відходять від реальних умов, щоб зробити їх загалом корисними для порівняння камер, особливо з різних виробники.

Як і будь-який інший сайт для перегляду камер, реальна ефективність у світі завжди важливіша, ніж лабораторні умови. Якщо ви знаєте, як прочитати інформацію та зрозуміти, що є і не має відношення до реального світу, ви можете зробити деякі змістовні дані з DxOMark, але, на мій досвід, найкраще взяти його з великим зерном солі.