Які корисні методи збільшення даних для глибоких згорткових нейронних мереж?

Передумови: Я нещодавно на більш глибокому рівні зрозумів важливість розширення даних під час тренування конволюційних нейронних мереж після того, як побачив цю чудову розмову Джеффрі Хінтона .

Він пояснює, що конволюційні нейронні мережі сучасного покоління не здатні узагальнити систему відліку обстежуваного об'єкта, що ускладнює мережу по-справжньому зрозуміти, що дзеркальні зображення об'єкта однакові.

Деякі дослідження перейшли до спроб виправити це. Ось один із безлічі багатьох прикладів . Я думаю, що це допомагає встановити, наскільки важливим є збір критичних даних сьогодні під час тренування конволюційних нейронних мереж.

Методи доповнення даних рідко орієнтуються один на одного. Звідси:

Запитання:

• Які документи, в яких практикуючі відзначають надзвичайно кращі результати?

• Які методи доповнення даних ви вважаєте корисними?

Розд. 1: Збільшення даних Оскільки для глибоких мереж потрібно навчати величезну кількість навчальних зображень, щоб досягти задовільної продуктивності, якщо оригінальний набір даних зображень містить обмежені навчальні зображення, краще зробити збільшення даних для підвищення продуктивності. Крім того, розширення даних стає важливим для тренування глибокої мережі.

• Існує багато способів зробити збільшення даних, наприклад, популярне горизонтальне гортання, випадкові посіви та кольоровий тремтіння. Більше того,
  ви можете спробувати комбінації з декількох різних процесів, наприклад,
  роблячи обертання та випадкове масштабування одночасно. Крім того,
  ви можете спробувати підвищити насиченість і значення (S і V компоненти
  кольорового простору HSV) усіх пікселів до потужності між 0,25 і 4 (однаково
  для всіх пікселів всередині патча), помноживши ці значення на коефіцієнт
  між 0,7 і 1,4, і додайте до них значення від -0,1 до 0,1.
  Крім того, ви можете додати значення між [-0,1, 0,1] до відтінку (Н-
  компонента HSV) усіх пікселів у зображенні / патчі.

• Крижевський та ін. 1 запропонував фантастичний PCA під час тренування знаменитого Alex-Net у 2012 році. Фантастичний PCA змінює інтенсивність
  каналів RGB у навчальних зображеннях. На практиці ви можете спочатку виконати PCA на наборі значень пікселів RGB протягом усіх навчальних зображень. А
  потім для кожного навчального зображення просто додайте наступну кількість до
  кожного пікселя зображення RGB (тобто I_ {xy} = [I_ {xy} ^ R, I_ {xy} ^ G, I_ {xy} ^ B] ^ T ):
  [bf {p} _1, bf {p} _2, bf {p} _3] [alpha_1 lambda_1, alpha_2 lambda_2, alpha_3
  lambda_3] ^ T де, bf {p} _i та lambda_i - i-й власний вектор та
  власне значення 3-х часової матриці коваріації значення пікселів RGB,
  відповідно, і alpha_i є випадковою змінною, виведеною з Гаусса
  із середнім нулем та стандартним відхиленням 0,1. Зверніть увагу, що кожен
  alpha_i малюється лише один раз для всіх пікселів певного
  навчального зображення, поки це зображення не буде використане для тренування знову. Тобто
  , коли модель знову зустріне той самий навчальний образ, вона
  випадковим чином створить інший alpha_i для збільшення даних. У першій статті вони
  стверджували, що "фантазія PCA може приблизно захоплювати важливу
  властивість природних зображень, а саме те, що ідентичність об'єкта інваріантна змінам інтенсивності та кольору освітленості". До
  ефективності класифікації ця схема знизила коефіцієнт помилок топ-1
  на понад 1% у конкуренції ImageNet 2012.

(Джерело: Повинен знати поради / хитрощі в глибоких нейронних мережах (Xiu-Shen Wei))