Чому людям подобаються безперебійні дані?

Я повинен використовувати ядро ​​квадратичного експоненціалу (SE) для регресії Гауссового процесу. Перевагами цього ядра є: 1) просте: лише 3 гіперпараметри; 2) гладка: це ядро ​​гауссова.

Чому люди так люблять «гладкість»? Я знаю, що ядро ​​Гаусса нескінченно диференційоване, але чи це так важливо? (Будь ласка, дайте мені знати, чи є інші причини, чому ядро ​​SE настільки популярне.)

PS: Мені сказали, що більшість сигналів у реальному світі (без шуму) плавні , тому для моделювання їх розумно використовувати гладкі ядра. Може хто-небудь, будь ласка, допоможе мені зрозуміти це поняття?

" Natura non facit salus " - старий принцип у філософії. Також краса та гармонія є такими принципами. Іншим філософським принципом, який впливає на статистику, є якісне мислення: Традиційно ми не думаємо про розміри ефектів, а чи є ефект чи ні. Це дозволить перевірити гіпотези. Оцінювачі занадто точні для вашого сприйняття природи. Прийміть так, як є.

Статистика повинна слугувати людському сприйняттю. Тож бали розриву не подобаються. Можна було б відразу запитати: Чому саме при цьому відбувається розрив? Особливо за оцінкою щільності, ці точки розриву здебільшого пояснюються неасимптотичним характером реальних даних. Але ви не хочете дізнаватися про ваш певний кінцевий зразок, а про основний природний факт. Якщо ви вважаєте, що ця природа не скаче, то вам потрібні плавні оцінки.

Зі суворої математичної точки зору, навряд чи є причина. Також з того часу, як стали відомі природні явища Лейбніца та Ньютона, які не є гладкими. Поговоріть з природознавцем, над яким ви працюєте. Викличте його погляд на плавність / розрив, а потім зробіть те, що ви обидва вирішили бути найбільш корисними для його розуміння.

Є ще дві причини практичних питань. Перший полягає в тому, що аналітичним функціям набагато простіше працювати з математикою, а тому доводять теореми про ваші алгоритми і дають їм більш міцну основу.

Друга - чутливість. Скажіть, у вас є машинний учень$M$ вихід якого має розрив при $x=x_0$. Тоді ви отримаєте дуже різні результати для$x_0 - \epsilon$ і $x_0 + \epsilon$, але це нормально, тому що ми зробили це припиненим. Тепер, якщо ви навчаєте свою модель з дещо іншими даними ($\tilde M$), де випадковий шум є лише крихітним різницею, тепер буде розрив $\tilde x_0$, мабуть, дуже близько$x_0$, але не зовсім, і зараз, для деяких значень $\epsilon$, $x_0 + \epsilon$ має зовсім інше значення для $M$ і для $\tilde M$.

Існує багато мотивацій, залежно від проблеми. Але ідея та ж: додайте апріорні знання про якусь проблему, щоб досягти кращого рішення та впоратися зі складністю. Більше способу сказати це: вибір моделі. Ось хороший приклад щодо вибору моделі .

Інша ідея, глибоко пов’язана з нею, полягає у пошуку міри подібності зразків даних (існують різні терміни, які стосуються цієї ідеї: топографічні відображення, метрика відстані, багатозначне навчання, ...).

Тепер розглянемо практичний приклад: оптичне розпізнавання символів. Якщо ви сфотографуєте зображення персонажа, ви очікуєте, що класифікатор має справу з інваріантами: якщо ви обертаєте, зміщуєте чи змінює масштаб зображення, він повинен мати змогу його виявити. Крім того, якщо ви трохи застосуєте якусь модифікацію до введення, ви очікуєте, що відповідь / поведінка вашого класифікатора також незначно змінюватимуться, оскільки обидва зразки (оригінал та модифіковані дуже схожі). Ось тут і відбувається забезпечення гладкості.

Існує безліч статей, що займаються цією ідеєю, але ця (інваріантність трансформації в розпізнаванні візерунків, дотична та відстань та дотична, Симард та ін.) Ілюструє ці ідеї дуже детально