Об'єднання спостережень у Гауссовому процесі

Я використовую Гауссовий процес (GP) для регресії.

У моїй проблемі досить часто два або більше точок даних бути близькими один до одного, відносно масштабів довжини проблеми. Також спостереження можуть бути надзвичайно галасливими. Для прискорення обчислень та підвищення точності вимірювання здається природним об'єднання / інтеграція кластерів точок, близьких одна до одної, доки я дбаю про прогнози на більшій шкалі довжини. $\vec{x}^{(1)},\vec{x}^{(2)},\ldots$

Цікаво, що це швидкий, але напів принциповий спосіб цього зробити.

Якщо дві точки даних були ідеально перекриваються, , а шум спостереження (тобто ймовірність) є гауссовим, можливо, гетерокедастичним, але відомим , природний спосіб протікання здається об'єднанням їх в єдине ціле точка даних з: $\vec{x}^{(1)} = \vec{x}^{(2)}$

, при. $\vec{\bar{x}} \equiv \vec{x}^{(k)}$ $k=1,2$
Спостережене значення - середнє значення спостережуваних значень зважене на їх відносну точність: $\bar{y}$ $y^{(1)}, y^{(2)}$ . $\bar{y} = \frac{\sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(1)} + \frac{\sigma_y^2(\vec{x}^{(1)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(2)}$
Шум, пов'язаний зі спостереженням, рівний: . $\sigma_y^2(\bar{x}) = \frac{\sigma_y^2(\vec{x}^{(1)}) \sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})}$

Однак як я повинен об'єднати дві точки, які є близькими, але не перетинаються?

$\vec{\bar{x}}$
$\bar{y}$
$\sigma_f^2$ $\ell^2$

Перш ніж продовжувати, я задумався, чи вже там щось є; і якщо це здається розумним способом провадження, або є кращі швидкі методи.

Найбільш близьким, що я міг знайти в літературі, є цей документ: Е. Снелсон і З. Гахрамані, Розріджені Гауссові процеси за допомогою псевдо входів , NIPS '05; але їх метод (відносно) задіяний, вимагаючи оптимізації для пошуку псевдо-входів.

regression machine-learning gaussian-process

— лазербі
джерело

До речі, я ціную, що я міг би використовувати приблизний висновок або деякі широкомасштабні методи, але це ще один момент.

— lacerbi

Відповіді:

Чудове запитання і те, що ви пропонуєте, звучить розумно. Однак особисто я би поступив інакше, щоб бути ефективним. Як ви вже сказали, дві точки, які є близькими, дають мало додаткової інформації, а отже, ефективний ступінь свободи моделі менше, ніж кількість спостережених точок даних. У такому випадку, можливо, варто використовувати метод Nystroms, який добре описаний у GPML (розділ про розріджені наближення можна побачити на http://www.gaussianprocess.org/gpml/ ). Метод дуже простий у здійсненні, і нещодавно Rudi et al. ( http://arxiv.org/abs/1507.04717 )

— j__
джерело

Дякую, метод Ністрома здається цікавим підходом, я розглядаю його. Однак у своєму першому дописі я забув зазначити, що шум у спостереженнях може бути дуже високим (можливо, більшим, ніж сигнал), так що усереднення довколишніх точок надасть додаткову інформацію.

— lacerbi

Добре, що насправді навіть більше причин використовувати метод Nystroms. Високий рівень шуму знижує ефективні ступені свободи, тому якщо сигнал містить лише перші m власних значень, а решта - просто шум, то метод Nystroms знизить усіх тих, хто менший, ніж перший m. Я думаю, що це буде відповідати рахунку за те, що ви шукаєте. Удачі!

— j__

Метод Найстрома - це те, що я б запропонував (+1). Просто об'єднання точок в одне може виникнути проблеми з оцінкою граничної ймовірності моделі, оскільки дві справжні точки даних навряд чи матимуть такий же ефект, як одна окрема точка. Моя порада буде тримати дві точки поділу, а й знайти спосіб зробити обчислення менш дорогий, яку emthod Ністрема повинні досягти,

— Dikran сумчастого

Які проблеми? Якщо ви розглядаєте випадок двох точок, що перекриваються з гауссовим шумом, то метод усереднення є точним (поки ви відстежуєте зниження шуму спостереження). Я не бачу, чому той самий аргумент не повинен працювати для точок, близьких wrt до шкали довжини проблеми (з наближенням стає все гірше із збільшенням відстані). Можливо, саме це робить метод Найстрома, більш принципово - мені ще потрібно розібратися в подробицях. Мені цікаво порівняти це з методом усереднення, як за точністю, так і за швидкістю. Спасибі

— lacerbi

@Seeda, ми не використовуємо ністром як попередньо обумовлену ефективність, а не звичайну скорочену скоротність часу, тому так.

— j__

Я також досліджував об'єднання спостережень під час регресії Гауссового процесу. У своїй проблемі я маю лише один коваріат.

Я не впевнений, що я обов'язково згоден, що наближення Найстрома є кращим. Зокрема, якщо на основі об'єднаного набору даних можна знайти достатнє наближення, обчислення можуть бути швидшими, ніж коли використовується наближення Найстрома.

Нижче наведено декілька графіків, що показують 1000 точок даних та середнє значення заднього GP, середнє значення заднього GP із об'єднаними записами та середнє значення заднього GP з використанням апроксимації Найстрома. Записи групувались на основі відро рівних розмірів упорядкованого коваріату. Порядок наближення стосується кількості груп при об'єднанні записів і порядку наближення Найстрома. Підхід злиття та наближення Найстрома дають результати, ідентичні стандартній регресії GP, коли порядок наближення дорівнює кількості балів.

У цьому випадку, коли порядок наближення дорівнює 10, підхід, що зливається, здається кращим. Коли порядок дорівнює 20, середнє значення від наближення Найстрома візуально не відрізняється від точного середнього середнього GP, хоча середнє, засноване на спостереженнях, що об'єднуються, ймовірно, досить добре. Коли замовлення 5, обидва досить бідні.

— Річард Реддінг
джерело