Чому моделі Гаусса називають непараметричними?

Я трохи розгублений. Чому процеси Гаусса називають непараметричними моделями?

Вони припускають, що функціональні значення або їх підмножина мають гауссовий пріоритет із середнім значенням 0 і коваріаційною функцією, заданою як функція ядра. Ці самі функції ядра мають деякі параметри (тобто, гіперпараметри).

То чому їх називають непараметричними моделями?

Я виступлю із цим, кажучи, що не завжди зрозуміло, що означає «непараметричний» або «напівпараметричний» і т. Д. У коментарях, мабуть, певне формальне визначення має на увазі Уубер (можливо, щось на зразок вибору моделі з якоїсь сім'ї де нескінченно розмірна), але я буду досить неформальною. Деякі можуть стверджувати, що непараметричний метод - це той, де ефективна кількість використовуваних параметрів збільшується разом із даними. Я думаю, що на videolectures.net є відео, де (я думаю) Пітер Орбанц дає чотири чи п’ять різних прийомів, як ми можемо визначити "непараметричні". { M θ : θ ∈ Θ } $M_\theta$$\{M_\theta: \theta \in \Theta\}$$\Theta$

Оскільки я думаю, що я знаю, про які речі ви маєте на увазі, для простоти я припускаю, що ви говорите про використання Гауссових процесів для регресії типовим чином: у нас є дані тренувань і нам цікаво моделювати умовне середнє . Ми пишемо і, можливо, ми настільки сміливі, що припускаємо, що є iid і нормально поширюється, . буде одновимірним, але все переноситься на більш високі розміри.E ( Y | X = x ) : = f ( x ) Y i = f ( X i ) + ϵ i ϵ i ϵ i ∼ N ( 0 , σ 2 ) X $(Y_i, X_i), i = 1, ..., n$$E(Y|X = x) := f(x)$

Якщо наш може приймати значення в континуумі, то можна розглядати як параметр (незліченно) нескінченного виміру. Отже, в тому сенсі, що ми оцінюємо параметр нескінченного виміру , наша проблема є непараметричною. Це правда, що байєсівський підхід має деякі параметри, що плавають тут і там. Але насправді це називається непараметричним, оскільки ми оцінюємо щось нескінченне вимір. Приори GP, які ми використовуємо, присвоюють масу кожному району кожної безперервної функції, тому вони можуть довільно оцінювати будь-яку безперервну функцію. f ( ⋅ $X_i$$f(\cdot)$

Те , що в ковариационной функції відіграє роль , аналогічні параметри згладжують в звичайних оцінках - частотних для того , щоб проблеми не бути абсолютно безнадійними , ми повинні припустити , що існує деяка структура , яку ми очікуємо побачити експоната. Байєси досягають цього, використовуючи пріоритет на просторі безперервних функцій у вигляді Гауссового процесу. З байєсівської точки зору, ми кодуємо переконання про , вважаючи, що почерпнуто від GP з такою і такою коваріаційною функцією. Попереднє фактично штрафує оцінки за те, що вони занадто складні.f f $f$$f$$f$$f$

Редагування для обчислювальних питань

Більшість (усе?) Цього матеріалу є у книзі «Процес Гаусса» Расмуссена та Вільямса.

Проблеми з обчисленнями складні для лікарів загальної практики. Якщо ми будемо вести себе нівельно, нам знадобиться пам'ять розміру просто для проведення матриці коваріації та операцій для її інвертування. Є кілька речей, які ми можемо зробити, щоб зробити речі більш здійсненими. Один варіант - зазначити, що хлопець, який нам справді потрібен, - , рішення де - матриця коваріації. Метод спряжених градієнтів вирішує це саме в обчисленнях , але якщо ми задовольнимо себе наближеним рішенням, ми могли б припинити алгоритм спряженого градієнта після кроків і зробити це вO ( N 3 ) v ( K + σ 2 I ) v = Y K O ( N 3 ) k O ( k N 2 ) $O(N^2)$$O(N^3)$$v$$(K + \sigma^2 I)v = Y$$K$$O(N^3)$$k$$O(kN^2)$обчислення. Нам також не обов’язково потрібно зберігати всю матрицю відразу.$K$

Таким чином, ми перейшли від до , але це все ще квадратично масштабується в , тому ми можемо не бути щасливими. Наступне найкраще - працювати замість підмножини даних, скажімо, розміру де інвертування та зберігання матриці не так вже й погано. Звичайно, ми не хочемо просто викидати решту даних. Підмножина регресорів підходу зазначає, що ми можемо отримати заднє середнє значення нашого GP як регресія наших даних на залежних від даних функцій, визначених нашою функцією коваріації; тому ми відкидаємо всі, окрім цих, і переходимо до обчислень .$O(N^3)$$O(kN^2)$$N$$m$$m \times m$$Y$$N$$m$$O(m^2 N)$

Існує пара інших потенційних варіантів. Ми могли б побудувати наближення низького рангу , і безліч , де є і рангу ; Виходить інвертуванням в цьому випадку може бути зроблено замість инвертирования . Іншим варіантом є вибір функції коваріації для розрідження та використання методів спряжених градієнтів - якщо матриця коваріації дуже рідка, це може значно прискорити обчислення.K = Q Q T Q n × q q K + σ 2 I Q T Q + σ 2$K$$K = QQ^T$$Q$$n \times q$$q$$K + \sigma^2 I$$Q^TQ + \sigma^2 I$

Взагалі кажучи, «непараметрична» в байєсівській непараметриці відноситься до моделей з нескінченною кількістю (потенційних) параметрів. На відеоlectures.net ( як ця ) є багато справді приємних навчальних посібників та лекцій з цієї теми, які дають хороші огляди цього класу моделей.

Зокрема, процес Гаусса (GP) вважається непараметричним, оскільки GP представляє функцію (тобто нескінченний розмірний вектор). Зі збільшенням кількості точок даних (пар ((x, f (x))) збільшується кількість параметрів моделі (обмежує форму функції). На відміну від параметричної моделі, де кількість параметрів залишається фіксованою щодо розміру даних, у непараметричних моделях кількість параметрів зростає з кількістю точок даних.

Параметри, які ви назвали гіперпараметрами, не є фізично мотивованими параметрами і звідси назва. Вони використовуються для параметризації функції ядра. Для прикладу в ядрі Гаусса:

$K(x_i,x_j) = h^2 \exp(\frac{-(x_i - x_j)^2}{\lambda^2})$

і є гіперпараметрамі , але вони не пов'язані з величинами , такі як температура, концентрація забруднення і т.д., які можуть виникнути в справжньої параметричної моделі.$h$$\lambda$

Це питання було розглянуто і в цій лекції , що може допомогти краще зрозуміти.