Що таке розподіл по функціях?

Я читаю підручник Гауссовий процес для машинного навчання CE Расмуссена та CKI Williams, і у мене виникають проблеми з розумінням того, що означає розподіл за функціями . У підручнику наводиться приклад того, що слід уявити функцію як дуже довгий вектор (насправді вона повинна бути нескінченно довгою?). Тому я уявляю, що розподіл по функціях - це розподіл ймовірностей, проведений "вище" таких векторних значень. Тоді чи буде ймовірність, що функція прийме саме це значення? Або це буде ймовірність того, що функція прийме значення, яке знаходиться в заданому діапазоні? Або розподіл по функціях є ймовірністю, призначеною цілій функції?

Цитати з підручника:

Глава 1: Вступ, сторінка 2

Гауссовий процес - це узагальнення розподілу ймовірностей Гаусса. Якщо розподіл ймовірностей описує випадкові величини, які є скалярами або векторами (для багатоваріантних розподілів), стохастичний процес регулює властивості функцій. Залишаючи вбік математичної витонченості, можна вільно мислити функцію як дуже довгий вектор, кожен запис у векторі вказує значення функції f (x) на конкретному вході x. Виявляється, хоча ця ідея трохи наївна, вона напрочуд близька тому, що нам потрібно. Дійсно, питання про те, як ми обчислювально поводимося з цими нескінченними розмірними об'єктами, є найприємнішим вирішенням, яке можна уявити: якщо ви запитаєте лише властивості функції в кінцевій кількості точок,

Глава 2: Регресія, сторінка 7

Існує кілька способів інтерпретації регресійних моделей Гаусса (ГП). Гауссовий процес можна думати як визначення розподілу по функціях , а висновок, що відбувається безпосередньо в просторі функцій, вигляд простору функцій.

З початкового питання:

Я зробив цю концептуальну картину, щоб спробувати уявити це для себе. Я не впевнений, чи таке пояснення, яке я зробив для себе, є правильним.

Після оновлення:

Після відповіді Гійса я оновив картину, щоб бути концептуально більш подібним:

Поняття трохи абстрактніше, ніж звичайне розповсюдження. Проблема полягає в тому, що ми звикли до поняття розподілу по , як правило, показаного у вигляді рядка, а потім розгорнемо його на поверхню і так далі до розподілів по . Але простір функцій не може бути представлений у вигляді квадрата, лінії чи вектора. Це не злочин думати про це так, як ви, але теорія, яка працює в , що стосується відстані, мікрорайонів тощо (це відома як топологія простору), є не однакові в просторі функцій. Тож малювання його як квадрата може дати вам неправильну інтуїцію щодо цього простору.$\mathbb{R}$$\mathbb{R}^2$$\mathbb{R}^n$$\mathbb{R}^n$

Ви можете просто уявити простір функцій як велику колекцію функцій, можливо, сумку речей, якщо хочете. Розподіл тут надає вам ймовірність складання підмножини цих речей. Розподіл скаже: ймовірність того, що ваш наступний розіграш (функції) знаходиться в цьому підмножині, становить, наприклад, 10%. У випадку Гауссового процесу на функції у двох вимірах, ви можете запитати, xзадавши -координату та інтервалy-значення, це невеликий відрізок вертикальної лінії, яка ймовірність, що через цю малу лінію пройде (випадкова) функція? Це буде позитивною ймовірністю. Отже, процес Гаусса визначає розподіл (вірогідність) по простору функцій. У цьому прикладі підмножиною простору функцій є підмножина, яка проходить через відрізок лінії.

Інша заплутана умова іменування тут полягає в тому, що розподіл зазвичай визначається функцією щільності , наприклад, формою дзвіночка з нормальним розподілом. Там область під функцією розподілу говорить вам, наскільки вірогідний інтервал. Однак це не працює для всіх дистрибутивів, і, зокрема, у випадку функцій (не як у звичайних дистрибутивах), це взагалі не працює. Це означає, що ви не зможете записати цей розподіл (як зазначено в процесі Гаусса) як функцію щільності.$\mathbb{R}$

Ваше запитання вже було задано і чудово відповіли на сайті Mathematics SE:

/math/2297424/extending-a-distribution-over-samples-to-a-distribution-over-functions

Здається, що ви не знайомі з поняттями Гауссових заходів щодо нескінченномірних просторів , лінійних функціоналів, прискорених заходів тощо, тому я постараюся зробити це максимально просто.

Ви вже знаєте, як визначити ймовірності за реальними числами (випадковими змінними) та над векторами (знову ж таки, випадковими змінними, навіть якщо ми їх зазвичай називаємо випадковими векторами). Тепер ми хочемо ввести міру ймовірності над нескінченномірним векторним простором: наприклад, простір квадратно-інтегруваних функцій над . Тепер речі ускладнюються, тому що коли ми визначали ймовірність на або , нам допомогло те, що міра Лебега визначається на обох просторах. Однак не існує міри Лебега щодо$L^2([0,1])$$I=[0,1]$$\mathbb{R}$$\mathbb{R}^n$L 2$L^2$(або будь-який нескінченномірний простір Банаха для цього питання). Існують різні рішення цієї головоломки, більшість з яких потребує хорошого ознайомлення з функціональним аналізом.

Однак є також простий "трюк", заснований на теоремі про розширення Колмогорова , який в основному є способом введення стохастичних процесів у більшості імовірнісних курсів, які не мають великої теоретичної міри. Зараз я буду дуже ручно хвилястим і нежорстким і обмежуватимусь випадками Гауссових процесів. Якщо ви хочете більш загальне визначення, ви можете прочитати вищевказану відповідь або переглянути посилання Вікіпедія. Теорема розширення Колмогорова, застосована до конкретного випадку використання, констатує більш-менш таке:

• припустимо, що для кожного кінцевого набору точок , має багатовимірний розповсюдження$S_n=\{ t_1, \dots ,t_n\} \subset I$$\mathbf{x}_n=(x(t_1),\dots,x(t_n))$
• припустимо, що для всіх можливих , відповідні функції розподілу ймовірностей і є послідовними , тобто якщо я інтегрую щодо змінних, які знаходяться в але не в , то отриманий pdf є :$S_n, S_m, \enspace S_n\subset S_m$$f_{S_n}(x_1,\dots,x_n)$$f_{S_m}(x_1,\dots,x_{n},x_{n+1},\dots,x_m)$$f_{S_m}$$S_m$$S_n$$f_{S_n}$

• тоді існує стохастичний процес , тобто випадкова величина на просторі функцій , така що для кожного кінцевого безлічі розподіл ймовірності цих точок є багатовимірним гауссовим.$X$$L^2$$S_n$$n$

Фактична теорема набагато більш загальна, але я думаю, це саме те, що ви шукали.