Я прочитав ці слова в досить багато публікацій, і я хотів би мати кілька приємних визначень для тих термінів, які дозволяють зрозуміти, яка різниця між об'єктом виявлення від семантичної сегментації та локалізації. Було б добре, якби ви могли дати джерела для своїх визначень.
Відповіді:
Я прочитав багато статей про «Виявлення об’єктів», «Розпізнавання об’єктів», «Сегментація об’єктів», «Сегментація зображення» та «Семантична сегментація зображення», і ось мої висновки, які можуть бути неправдивими:
Розпізнавання об'єктів: у даному зображенні ви повинні виявити всі об'єкти (обмежений клас об'єктів залежить від вашого набору даних), локалізувати їх за допомогою обмежувального поля та позначити цей обмежувальний ящик міткою. На зображенні нижче ви побачите простий вихід із розпізнавання сучасного об'єкта.
Виявлення об'єктів: це як розпізнавання об'єктів, але в цьому завданні ви маєте лише два класифікації об'єктних класифікацій, що означає об'єкти, що обмежують об'єкти, і необ'єктні обмежувальні поля. Наприклад, Виявлення автомобіля: вам потрібно виявити всі автомобілі на даному зображенні за допомогою обмежувальних коробок.
Сегментація об'єкта: подібно до розпізнавання об'єктів, ви впізнаєте всі об'єкти в зображенні, але у вашому висновку повинен бути показаний цей об'єкт, що класифікує пікселі зображення.
Сегментація зображення: у сегментації зображення ви будете сегментувати області зображення. ваш вихід не буде мітити сегменти та область зображення, які відповідають один одному, повинні бути в одному сегменті. Витяг супер пікселів із зображення є прикладом цього завдання або сегментації фонового плану.
Семантична сегментація: В семантичній сегментації ви повинні позначити кожен піксель класом об'єктів (автомобіль, людина, собака, ...) і не-об'єктами (вода, небо, дорога, ...). Іншими словами, в семантичній сегментації ви позначите кожну область зображення.
Оскільки це питання ще не зовсім зрозуміло навіть зараз у 2019 році, і це може допомогти новим ML-учням вибрати, ось дуже хороший образ, що показує відмінності:
(локалізація є обмежувальним вікном навколо класу «вівці» після класифікації зображення)
Джерело: Towardsdatascience.com
Я вважаю, що просто "локалізація" означає "класифікація одного об'єкта + локалізація за допомогою 2D або 3D обмежувального поля".
"Об'єкт виявлення" локалізує + класифікує всі екземпляри відомих об'єктних класів.
Семантична сегментація - це в основному класифікація на пікселі.
Також показники wrt включають показники (джерело: https://devblogs.nvidia.com/parallelforall/deep-learning-object-detection-digits/ )
Точність - це відношення точно визначених об'єктів до загальної кількості передбачуваних об'єктів (відношення справжніх позитивних до справжніх позитивних плюс помилкових позитивних).
Нагадаємо - відношення точно визначених об'єктів до загальної кількості фактичних об'єктів у зображеннях (відношення справжніх позитивних даних до справжніх позитивів плюс істинних негативів).
mAP: спрощений середній бал середньої точності на основі добутку точності та виклику для DetectNet. Це гарна комбінована міра того, наскільки чутлива мережа до об'єктів, що цікавлять, і наскільки добре вона уникає помилкових тривог.
Термін локалізація незрозумілий. Тому я обговорюю терміни виявлення об'єкта та семантичну сегментацію.
При виявленні об'єктів кожен піксель зображення класифікується, належить він до певного класу (наприклад, обличчя) чи ні. На практиці це спрощується шляхом групування пікселів разом для формування обмежувальних коробок, тому зводить проблему до вирішення, чи обмежує вікно щільно прилягання навколо об'єкта. Оскільки пікселі можуть належати до декількох об'єктів (наприклад, обличчя, очей), вони можуть містити кілька міток одночасно.
З іншого боку, семантична сегментація передбачає присвоєння міток класу кожному пікселю зображення. Хоча вони дозволяють підвищити точність локалізації, оскільки вони не включають спрощення обмежувального поля, вони суворо застосовують одну мітку на піксель.
Семантична сегментація: завдання кластеризації частин зображень разом, які належать до одного класу об'єктів. наприклад: виявлення дорожніх знаків