Я намагаюся розібратися, що означає багатозначне припущення в навчанні, яке знаходиться під наглядом. Чи може хтось пояснити простим способом? Я не можу за цим зрозуміти інтуїцію.
Це говорить про те, що ваші дані лежать на низькомірному колекторі, вбудованому у простор більш високого розміру. Я не зрозумів, що це означає.
Відповіді:
Уявіть, що у вас купка насіння кріпиться на скляній тарілці, яка горизонтально лежить на столі. Через те, як ми зазвичай думаємо про космос, було б сміливо сказати, що ці насіння живуть у двовимірному просторі, більш-менш, тому що кожне насіння може бути ідентифіковане за двома числами, які дають координати цього насіння на поверхні стакан.
Тепер уявіть, що ви берете тарілку і нахиляєте її по діагоналі вгору, щоб поверхня скла більше не була горизонтальною щодо землі. Тепер, якщо ви хотіли знайти одне насіння, у вас є пара варіантів. Якщо ви вирішите проігнорувати скло, то, здавалося б, кожне насіння плаває в тривимірному просторі над таблицею, і тому вам потрібно буде описати місце кожного насіння, використовуючи три числа, по одному для кожного просторового напрямку. Але лише нахиливши склянку, ви не змінили факту, що насіння все ще живуть на двовимірній поверхні. Таким чином, ви могли б описати, як поверхня скла лежить у тривимірному просторі, а потім ви могли б описати розташування насіння на склі, використовуючи свої початкові два виміри.
У цьому мисленому експерименті скляна поверхня схожа на низькомірний колектор, який існує у просторі більш високого розміру: як би ви не обертали пластину в трьох вимірах, насіння все ще живуть уздовж поверхні двовимірної площини.
Більш загально, низькомірний колектор, вбудований у простор більш високого розміру, - це лише сукупність точок, які з будь-якої причини вважаються пов'язаними або частиною одного набору. Зокрема, колектор може бути дещо викривлений у просторі більш високого розміру (наприклад, можливо поверхня скла викривлена у форму чаші замість форми пластини), але колектор все ще в основному маломірний. Особливо у просторовому просторі цей колектор може приймати багато різних форм і форм, але, оскільки ми живемо в тривимірному світі, важко уявити приклади, які мають більше трьох вимірів. Однак як зразок враховуйте наступні приклади:
До загальних прикладів багатообразів в машинному навчанні (або принаймні множини, які гіпотезуються, що живуть уздовж маловимірних багатообразий), включають:
Багаторазове припущення в машинному навчанні полягає в тому, що замість того, щоб припускати, що дані у світі можуть надходити з кожної частини можливого простору (наприклад, простору всіх можливих 1-мегапіксельних зображень, включаючи білий шум), має більше сенсу припускати що дані тренінгу надходять із відносно маломірних колекторів (як скляна тарілка з насінням). Тоді вивчення структури багатоманітника стає важливим завданням; крім того, таке навчальне завдання здається можливим без використання мічених даних про навчання.
Існує багато, багато різних способів пізнання структури багатовимірного колектора. Одним з найбільш широко використовуваних підходів є PCA, який передбачає, що колектор складається з єдиної еліпсоїдальної "краплі", подібної до форми млинця або сигари, вбудованої у просторі більш високого розміру. Більш складні методи, такі як ізомапа, ICA або рідке кодування, послаблюють деякі з цих припущень різними способами.
Причина того, що багатозначне припущення є важливим у навчанні, яке знаходиться під наглядом, є двома. Для багатьох реалістичних завдань (наприклад, визначення того, чи показують пікселі на зображенні 4 або 5), у світі є набагато більше даних без міток (наприклад, зображень, які можуть мати в них цифри), ніж із мітками (наприклад, зображення, явно позначені "4" або "5"). Крім того, в пікселях зображень доступно більше інформації на порядок більше, ніж в мітках зображень, що мають мітки. Але, як я описав вище, природні зображення насправді не відбираються за рахунок рівномірного розподілу по конфігураціях пікселів, тому, мабуть, існує певне багатоманіття, яке фіксує структуру природних зображень.Коли зображення, що містять 5s, також лежать на різному, але сусідньому колекторі, то ми можемо спробувати розробити уявлення для кожного з цих колекторів, використовуючи лише дані пікселів, сподіваючись, що різні колектори будуть представлені з використанням різних вивчених особливостей даних. Потім, пізніше, коли у нас є кілька бітів даних міток, ми можемо використовувати ці біти для простого нанесення міток до вже визначених колекторів.
Більшість цього пояснення виходить із роботи з глибокої та художньої літератури. Йошуа Бенджо та Ян Лекун - див. Підручник з вивчення енергетики має особливо доступні аргументи у цій галузі.
Спочатку переконайтеся, що ви зрозуміли, що таке вбудовування. Це запозичено з математики . Грубо кажучи, це відображення даних в інший простір (його часто називають вбудовою простором або простором функцій ), зберігаючи певну структуру або властивості даних. Зауважте, що його розмірність може бути більшою або меншою, ніж вхідний простір. На практиці картографування є складним і високонелінійним. Кілька прикладів:
Для ілюстрації я візьму приклад цього документу від Джоша Тененбаума:
1 ілюструє проблему виявлення функцій на прикладі візуального сприйняття. Набір поглядів обличчя з усіх можливих точок зору - це надзвичайно об'ємний набір даних, який представлений у вигляді масивів зображень на комп'ютері або на сітківці; наприклад, зображення сірого масштабу 32 x 32 пікселів можна розглядати як точки в 1024-мірному просторі спостереження [вхідний простір] . Однак перцептивно значуща структура цих зображень [простір зображень ] має значно меншу розмірність; всі зображення на рис. 1 лежать на двовимірному колекторі, параметризованому кутом огляду
Тоді Джош Тененбаум обговорює труднощі вивчення такого відображення від входу до простору зображень. Але повернемося до питання: нас цікавить, як пов’язані між собою вхідні та функціональні простори.
32*32 array of grey pixel valuesЄ вхідним простором[x1=elevation, x2=azimuth]Простір функція простору (хоча спрощено, це можна розглядати в якості дійсного простору вкладення).Повторно висловлюючи гіпотезу про багатоманітність (цитуючи цю чудову статтю ):
Гіпотеза багатоманіття полягає в тому, що природні дані утворюють у своєму вбудовуваному просторі менші розмірні багатовиди
З цього прикладу зрозуміло, що розмірність простору вбудовування набагато менша, ніж вхідний простір: 2 проти 1024. (Це розрізнення буде справедливим навіть для варіантів більш просторових, менш спрощених просторів вбудовування).
Щоб переконати себе, що вбудовування утворює колектор, я пропоную вам прочитати решту паперового паперу Тененбаума або статті Кола .
Зауважте: це лише ілюстрація того, що означає багатозначна гіпотеза, а не аргумент того, чому це відбувається .
Пов'язане: Пояснення векторів слів , папір word2vec