Що таке мінімізація енергії в машинному навчанні?

Я читав про оптимізацію недоброзичливої проблеми в комп’ютерному зорі і натрапив на пояснення нижче щодо оптимізації у Вікіпедії. Я не розумію, чому вони називають цю оптимізацію " мінімізацією енергії " в "Комп'ютерному баченні"?

Проблема оптимізації може бути представлена наступним чином:

Дано: функція від деякого набору до реальних чисел $f: A \to R$ $A$

Потрібно: елемент в такий, що для всіх в ("мінімізація") або такий, що для всіх в (" максимізація "). $x_0$ $A$ $f(x_0) ≤ f(x)$ $x$ $A$ $f(x_0) ≥ f(x)$ $x$ $A$

Таке формулювання називається проблемою оптимізації або математичною проблемою програмування (термін, не пов'язаний безпосередньо з комп'ютерним програмуванням, але все ще використовується, наприклад, в лінійному програмуванні - див. Історію нижче). Багато реальних і теоретичних проблем можуть бути змодельовані в цих загальних рамках. Проблеми, сформульовані за допомогою цієї методики у галузі фізики та комп’ютерного зору, можуть називати цю техніку мінімізацією енергії, кажучи про значення функції як про те, що представляє енергію модельованої системи. $f$

machine-learning optimization computer-vision

— iamprem
джерело

Відповіді:

Моделі на основі енергії є єдиною основою для представлення багатьох алгоритмів машинного навчання. Вони трактують умовивід як мінімізацію енергетичної функції, а навчання як мінімізацію функціональних втрат.

Енергетична функція - це функція конфігурації прихованих змінних і конфігурації входів, наведених у прикладі. Висновок означає пошук конфігурації з низькою енергією або вибірку з можливої конфігурації, так що ймовірність вибору заданої конфігурації є розподілом Гіббса.

Функціонал втрат - це функція параметрів моделі, наведених у багатьох прикладах. Наприклад, у контрольованій навчальній проблемі ваша втрата - це повна помилка в цілях. Іноді його називають "функціональним", оскільки це функція (параметризована) функція, яка становить модель.

Основна стаття:

Y. LeCun, S. Chopra, R. Hadsell, M. Ranzato, FJ Huang, "Навчальний посібник з енергетичного навчання", в "Прогнозування структурованих даних", MIT Press, 2006.

Також дивіться:

LeCun, Y., & Huang, FJ (2005). Функції втрати для дискримінаційного навчання моделей на основі енергії. У матеріалах 10-го Міжнародного семінару з питань штучного інтелекту та статистики (AIStats'05). Отримано з http://yann.lecun.com/exdb/publis/pdf/lecun-huang-05.pdf

Ranzato, M., Boureau, Y.-L., Chopra, S., & LeCun, Y. (2007). Єдина енергетична основа для непідконтрольного навчання. Зб. Конференція з питань ІІ та статистики (AI-Stats). Отримано з http://dblp.uni-trier.de/db/journals/jmlr/jmlrp2.html#RanzatoBCL07

— Ніл G
джерело

Чи можете ви розширити те, що "Вони трактують умовивід як мінімізацію енергетичної функції та навчання як мінімізацію функції втрат"? Чим енергетична функція відрізняється від функції втрат?

— Кліф АВ

Чи можете ви, будь ласка, докладно пояснити свою відповідь

— iamprem

@CliffAB Сподіваємось, це зрозуміліше?

— Ніл Г

@NeilG: якщо чесно, я все ще трохи розгублений. Для мене це звучить як "енергетична функція" - це по суті те саме, що ймовірність функції в статистиці. Це розумна інтерпретація чи я пропускаю щось більш тонке?

— Cliff AB

@CliffAB: Енергетична функція може бути імовірністю логарифмації, в цьому випадку загальна енергія, що виставляється, дорівнює одиниці. Однак це навіть не потрібно: неімовірнісні енергетичні моделі не турбуються про цю нормалізацію, що може зробити їх вивчення більш ефективним, ніж імовірнісні моделі. Це відбувається тому, що це дозволяє уникнути оцінки дорогих інтегралів на просторі конфігурації.

— Ніл Г

$x_t$

E = Σ x_{t}^{2}

$E = \Sigma x_t^2$

S S E = Σ (y - \hat{y})^{2}

$SSE= \Sigma (y-\hat{y})^2$

\hat{y}

$\hat{y}$

— квартира
джерело

Я думаю, що ти плутаєш втрату з енергією

— Ніл G

Я використовую стандартне визначення енергії від обробки сигналів . Гадаю, люди з інформатики / машинного навчання, як правило, переосмислюють терміни. Я надходжу з статистики та обробки сигналів

— стан

Ваша перша формула - енергетична функція. Друга формула - це функція втрати, оскільки вона не є функцією конфігурації.

— Ніл Г

@Neil Я впевнений, що ви правильно використовуєте термінологію, як визначено в цитованих документах. Це просто інша термінологія, ніж те, до чого я звик, де енергія SSE

— stan