Я намагаюся реалізувати алгоритм, коли задано зображення з декількома об'єктами на площинній таблиці, бажаним є вихід масок сегментації для кожного об’єкта. На відміну від CNN, мета тут - виявити об'єкти в незнайомому середовищі. Які найкращі підходи до цієї проблеми? Також чи доступні приклади реалізації в Інтернеті?

Редагувати: Вибачте, питання може бути трохи оманливим. Що я мав на увазі під "незнайомим середовищем", це те, що об'єкти можуть бути невідомими алгоритму. Алгоритм не повинен розуміти, що таке об’єкт, а повинен лише виявляти об'єкт. Як слід підходити до цієї проблеми?

Швидкий одяг

$O(n)$$O(n^2)$

Деякі пояснення

$K$$O(n)$$K$- Люди не вдається, тому що це розробити еліптичні кластери, а НЕ випадкові форми.

Навпаки, у нас є середній зсув, який здатний автоматично знаходити кількість кластера - що корисно, коли ви не знаєте, що шукаєте - з випадковими формами .

$K$$K$

Порада щодо кластеризації сегментації зображень

Перетворіть свій кольоровий простір з RGB в LUV, що краще для евклідової відстані.

$K$

• $O(\alpha.n)$
• $O(\beta.n)$
• $\alpha \gt \beta$

Середній зсув LSH повільніше, але він краще відповідає вашим потребам. Він залишається лінійним і також масштабується при згаданій реалізації.

PS: Моя картинка профілю - це додаток середнього зсуву LSH на себе, якщо це допоможе зрозуміти, як це працює.

Можливо, вам доведеться переглянути цю роботу, подану та прийняту до CVPR 2018: Навчимось сегментувати кожну річ

У цій роботі вони намагаються сегментувати все, навіть об’єкти, не відомі мережі. Використовували маску R-CNN, у поєднанні з підмережею передачі навчання вони отримують дуже хороші результати при сегментації майже всього.

Найсучаснішим (SOTA) для сегментації зображень буде Facebook- маска-RCNN .

Хоча він зазвичай навчається на наборі даних, таких як COCO або Pascal, на яких представлені об'єкти реального життя, ви можете перевчити його на набір даних на ваш вибір, реальний чи ні.

Facebook надає реалізацію ( Detectron ) за ліцензією Apache2. Спробувати!

Власне, ваше завдання контролюється. Segnetможе бути гарною архітектурою для вашої мети, до якої з її реалізації можна отримати доступ тут . SegNet вчиться передбачати мітки піксельних класів від контрольованого навчання. Тому нам потрібен набір вхідних зображень із відповідними мітками основної істини. Відзначайте зображення повинні бути один канал, з кожним пікселем міченого зі своїм класом ... .

Крім того, погляньте на повністю згорнуті мережі, які добре підходять для вашого завдання.

На основі змін у питанні я додаю додаткову інформацію. Існують численні методи, які можна застосувати для цього завдання. В основному найпростішим є використання фонової мітки та класифікація тих класів, які ви не знаєте як тло, використовуючи згадані архітектури. Тим самим у вас з'являться мітки, які можуть перекриватися для фонового класу, що є ймовірним недоліком цього підходу, але його перевагою є те, що у випадках, коли ваші навчені етикетки часто використовуються у входах, ви можете мати відносно легку версію архітектури, яка розпізнає невідомі класи.

Це може бути щось, що ви шукаєте. Оскільки ви запитуєте сегментацію зображення, а не semantic / instanceсегментацію, я припускаю, що вам не потрібно маркування для кожного сегмента на зображенні.

Методом називається, scene-cutякий сегментує зображення на класично-агностичні регіони без нагляду. Це дуже добре спрацьовує у випадку забрудненого приміщення.

Посилання на аркуші : arxiv

Код: код