Сумніви щодо виведення рівнянь регресії Гаусса в рефераті


9

Я читаю цей передруковий документ , і у мене виникають труднощі після їх виведення рівнянь для регресії Гаусса. Вони використовують налаштування та позначення Расмуссена та Вільямса . Таким чином, адитивний, нульовий середній, стаціонарний і нормально розподілений шум з дисперсієюσnoise2 передбачається:

y=f(x)+ϵ,ϵN(0,σnoise2)

Передбачається GP-попередник із нульовим середнім значенням f(x), що означає, що  dN, f={f(x1),,f(xd)} - вектор Гаусса із матрицею середнього значення 0 та коваріації

Σd=(к(х1,х1)к(х1,хг)к(хг,х1)к(хг,хг))

Відтепер ми припускаємо, що гіперпараметри відомі. Тоді рівняння (4) статті очевидно:

p(f,f)=N(0,(Кf,fКf,fКf,fКf,f))

Тут виникають сумніви:

  1. Рівняння (5):

    p(у|f)=N(f,σноiсе2Я)

    Е[f]=0, але я здогадуюсь E[y|f]=f0 бо коли я обумовлюю о f, тоді y=c+ϵ де c є постійним вектором і тільки ϵє випадковим. Правильно?

  2. У будь-якому випадку, це рівняння (6) мені більш незрозуміле:

    p(f,f|y)=p(f,f)p(y|f)p(y)

    Це не звичайна форма теореми Байєса. Теорема Байєса була б

    p(f,f|y)=p(f,f)p(y|f,f)p(y)

    Я якось розумію, чому два рівняння однакові: інтуїтивно зрозумілий, вектор відповіді y залежить лише від відповідного прихованого вектора f, обумовлюючи таким чином f або на (f,f)повинно призвести до однакового розподілу. Однак це інтуїція, а не доказ! Чи можете ви допомогти мені показати, чому

    p(y|f,f)=p(y|f)

Відповіді:


1
  1. Якщо ми виправимо f, то вся невизначеність у yпоходить від шуму. Тож для рівняння (5) у статті, яку ми маємо, це даноf ми маємо в кожній точці незалежний шум з дисперсією σnoise2 і означають нуль 0. Додаємо початкове середнє значення і отримуємо відповідь.
  2. Один із способів довести запропоновану рівність
    p(y|f,f)=p(y|f)
    полягає в пошуку розподілу в лівій частині і в правій частині якості. Обидва вони - Гаусса, на лівий бік ми вже знаємо відповідь. Для правого боку ми діємо аналогічним чином. Знайдемо умовний розподіл для(y,y). З результатів першої частини ми знаємо:
    p(y,y|f,f)=N((f,f),σnoise2I).
    Використовуючи правила ймовірності, їх легко інтегрувати y з (y,y), оскільки матриця коваріації є діагональною, а векторами y і yє незалежними. Цим ми отримуємо:
    p(y|f,f)=N(f,σnoise2I)=p(y|f).
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.