Машинне навчання проти ідентифікації системи?

Чи може хто-небудь пояснити мені відмінності та схожість між машинним навчанням та ідентифікаціями системи? Це лише два імені одного і того ж? На цій сторінці вони кажуть:

Спільноти машинного навчання та ідентифікації системи стикаються з подібними проблемами, коли потрібно побудувати модель з обмежених або галасливих спостережень.

Я також читав перші розділи відомої книги Крістофер М. Бішоп. Поки мій висновок полягає в тому, що проблема, яку намагається вирішити ідентифікація системи, - це підмножина того, що намагається вирішити машинне навчання.

Ідентифікація системи - це наука про побудову динамічних моделей із спостережуваних даних. Є два основні підходи: ідентифікація помилок передбачення (PEI) та ідентифікація підпростори (SID). Вони забезпечують так звану параметричну модель, тобто модель нерухомої структури. Зазвичай так відбувається, коли користувач вибирає структуру базової системи (особливо в методах PEI) або принаймні порядок системи (в обох методах). Незважаючи на те, що це не обов'язково, шукається система низького порядку (тобто кількість базових коефіцієнтів порівняно невелика), оскільки її часто використовують для контрольних цілей, тому ми повинні тримати її максимально просто, щоб уникнути обчислювальні питання тощо. Ця модель може бути використана для прогнозування майбутньої поведінки системи з урахуванням деяких входів.

З іншого боку, машинне навчання (МЛ) має дві основні галузі, алгоритми класифікації та регресії. Останні також використовуються в цілях прогнозування. Два найвідоміші підходи в машинному навчанні - це підтримка векторних машин (SVM) та гауссових процесів (GP). Основна відмінність методів ідентифікації системи полягає в тому, що методи ML надають непараметричну модель. Останнє означає, що передбачення нового введення подається як функція точок даних, що використовуються для "навчання" (навчання, ідентифікація) моделі. Тому, якщо ми використовували N = 1000 точок даних для тренінгу, то прогнозування виражатиметься як функція цих точок даних. Методи ML є більш гнучкими, оскільки не вимагають від користувача будь-якого вибору структури, але вони стикаються з іншими обмеженнями (наприклад,

До недавнього часу ML та методи ідентифікації системи розроблялися незалежно. Але в останні роки докладаються великі зусилля для встановлення спільної позиції (наприклад, див. Статтю "Чотири зустрічі з ідентифікацією системи" від Ljung)

Контекст: SysID та контролює хлопця, який потрапив у ML.

Я думаю , що відповідь user110686 робить справедливу роботу з пояснення деяких відмінностей. SysID обов'язково стосується динамічних моделей з вхідних / вихідних даних, тоді як ML охоплює більш широкий клас проблем. Але найбільша різниця, яку я бачу, пов'язана з (a) пам'яттю (кількість параметрів); (b) кінцеве використання "вивченої" моделі. Ідентифікація системи - це дуже важливий підхід до обробки сигналів з урахуванням частотної області, аналізу частоти та ін. Деякі МЛ називають це "інженерією функцій".

(a) Пам'ять:SysID став відомим задовго до того, як М.Л. Отже, статистика та обробка сигналів були основною основою для теоретичних основ, а обчислення - лякали. Таким чином, люди працювали з дуже простим класом моделей (Bias-Variance tradeoff) з дуже невеликими параметрами. Ми говоримо максимум про 30-40 параметрів і здебільшого лінійних моделей навіть для тих випадків, коли люди чітко знають, що проблема нелінійна. Однак зараз обчислення дуже дешеві, але SysID ще не вийшов із своєї оболонки. Люди повинні почати розуміти, що у нас набагато кращі датчики, легко оцінюючи 1000 параметрів з дуже багатим набором моделей. Деякі дослідники намагаються використовувати нейронні мережі для SysID, але багато хто, здається, неохоче сприймають їх як "мейнстрім", оскільки теоретичних гарантій не так багато.

(b) Кінцеве використання вивченої моделі: Тепер це одне, що SysID отримав дуже коректно, але багато алгоритмів ML не вдається зафіксувати. Важливо визнати, що для цільових додатків ви обов'язково будуєте моделі, які можна ефективно використовувати для оптимізації в Інтернеті.Ці моделі будуть використовуватися для розповсюдження будь-яких прийнятих управлінських рішень, і коли це налаштовується як оптимальна проблема управління, моделі стають обмеженнями. Тож, використовуючи надзвичайно складну структуру моделі, вона значно ускладнює онлайн-оптимізацію. Також зауважте, що ці рішення в Інтернеті приймаються в масштабі секунд або менше. Запропонована альтернатива полягає в тому, щоб безпосередньо вивчити функцію значення в позаполітичний спосіб для оптимального контролю. Це в основному підкріплення навчання, і я думаю, що між SysID та RL є хороша синергія.

Хочу додати, що існують також непараметричні підходи до ідентифікації системи. Детальніше дивіться набір інструментів SysId MATLAB або книгу Люнга. Непараметричні підходи часто використовуються для спочатку ідентифікації класу моделей для подальших параметричних досліджень. Також важливо відокремити задачу оцінки від проблеми управління (подумайте, цикл OODA). При виявленні системи часто поставляється мета просто охарактеризувати систему без будь-яких конкретних керуючих входів типу, які будуть розроблені пізніше (але це не завжди можливо). Нарешті, я думаю, що корисно зрозуміти, що система є з математичної точки зору оператором, який відображає функціональний простір у функціональний простір. Отже, диференціальні рівняння часто ідентифікують види речей, і ці функції відображають у функції. Функції в SysID часто є безперервними функціями часу, які також називаються сигналами безперервного часу. (Але вони також можуть бути дискретні за часом.) Таким чином, SysID не просто намагається зіставити реальні числа (або вектори) на реальні числа (або вектори); він прагне визначити найкращого оператора (LTI, LTV, нелінійний тощо), який відображає вхідні сигнали на вихідні сигнали.

Машинне навчання: моделювання статичної моделі та динамічної моделі, ідентифікація системи: орієнтація на динамічну модель або динамічний процес