Нейронні мережі - Знайдіть більшість подібних зображень

Я працюю з Python, scikit-learn та керами. У мене є 3000 тисяч зображень наручних годинників, таких як: Watch_1 , Watch_2 , Watch_3 .

Я хочу написати програму, яка отримує на вхід фото реального годинника, який може бути зроблений за менш ідеальних умов, ніж фотографії вище (різний колір тла, темніша блискавка тощо) та знайти найбільш подібні годинники серед 3000 з них. Під подібністю я маю на увазі, що якщо я надам в якості фото круглого, коричневого годинника з тонким мереживом, то я очікую як вихідний годинник круглої форми, темного кольору і з тонким мереживом.

Який найефективніший алгоритм машинного навчання для цього?

Наприклад, перейшовши за цим посиланням, я маю на увазі два різних рішення:

1) Використання CNN як екстрактора функцій та порівняйте відстані між цими ознаками для кожної пари зображень із посиланням на вхідне зображення.

2) Використання двох CNN в сіамській нейронній мережі для порівняння зображень.

Ці два варіанти найкращі для цього завдання чи ви б запропонували щось інше?

Чи знаєте ви будь-яку заздалегідь підготовлену нейронну мережу (із заздалегідь визначеними гіперпараметрами) для цього завдання?

Я знайшов кілька цікавих публікацій на StackOverflow про це, але вони досить старі: Post_1 , Post_2 , Post_3 .

Я не думаю, що архітектура високого рівня як така найкраще підходить, але це, скоріше, залежить від багатьох факторів та деталей. З того, що мені відомо, перший підхід є багатообіцяючим, особливо коли він поширюється на додаткові кроки, зроблені в TiefVision :

1. Для розмежування відповідної частини зображення від решти використовується додаткова обмежувальна мережа
2. Функціональні вектори не просто порівнюються безпосередньо, а скоріше використовуються для навчання мережі порівняння за допомогою трійки (вивчення подібності на основі функцій векторів та прикладів для більш і менш подібних випадків).

Ця робота набагато пізніша (2016/17), ніж те, що ви опублікували та поставляється з приємним набором інструментів та більш детальним документом .

Навіщо використовувати трійок aka Deep Ranking?

Як зазначено в коментарях: Чому слід використовувати триплети для подібності зображень, а не вивчати функції векторів та обчислювати їх відстань? Триплети - це спосіб формулювання питання подібності як проблеми навчання замість того, щоб вивчати особливості векторів, які в основному не піклуються про подібність. Цей підхід має особливий сенс у випадках, коли важлива подібність, сприйнята людиною, яка може відрізнятися від сприйняття машиною.

Трійні працюють так: Ви надаєте 3 зображення. Одне для порівняння, одне подібне (близьке) та одне не настільки схоже (віддалене) зображення. Це ваші дані про навчання / тест / перевірку. Навчання вашої мережі на цих зразках та прогнозування правильного порядку (класифікувати схожі на не схожі зображення) загалом дозволяє мережі навчитися замовляти зображення на основі їх подібності.

Загалом цей підхід є порівняно складним. Це може бути переосмислено, але ви також попросили найкращий спосіб зробити це, і глибоке ранжування досягає дуже високих значень точності.

Я б вибрав класифікатор, як VGG-16, який добре працює на класах imagenet. Потім запустіть зображення годинника через нього. Напевно, ви можете очікувати, що вихід буде здебільшого "дивитись" з високою ймовірністю.

Однак ви отримуєте додаткові можливості: рівень активації всіх інших категорій. Це дає вектор тисячі значень між 0 і 1.

Ви також можете отримати активацію в різних точках мережі. Тоді подібність цих активацій та виходів повинна бути однаковою між двома випадками, лише якщо зображення схожі.

Я спершу зосередився б на збільшенні даних. Оскільки у ваших зображень білий фон, вам це трохи легше. Перетворіть білий фон у прозорий фон, зменшіть розмір зображення, оберніть його та покладіть у фони, схожі на цільові дані.

Зробіть це купу разів з різною комбінацією і мати етикетку для кожного годинника. Тоді я б запропонував використовувати для класифікації звичайну звивисту нейронну мережу. Кожна мітка матиме оцінку, вибирайте ту, яка має найвищу впевненість, і ця має бути найбільш схожа .

Наприклад, скажімо, ви запускаєте класифікатор із зображенням і отримуєте такий результат:

Watch1: 0.51

Watch2: 0.30

Watch3: 0.25

CNN заявляє, що має 51% впевненості, що Watch1 - це годинник у вхідному зображенні. Але також правдою є те, що саме той, на його думку, виглядає більш схожим, Watch2 буде наступним ще подібним тощо.

Якщо ви не отримаєте хороших результатів, виконайте звичайне. Експериментуйте з параметрами та / або додайте більше шарів. Спробуйте дізнатися, де це не вдається. Отримавши це розуміння, ви можете використовувати його для вибору більш спеціалізованого типу згорткової мережі для вашої конкретної проблеми. Шукати це без попереднього знання того, як це було б - не правильний підхід. Я б запропонував почати з базової згорткової моделі, а потім працювати звідти.