Регресія Гауссова процесу для наборів даних з високими розмірами

Просто хотілося дізнатись, чи має хто-небудь досвід застосування регресії процесів Гаусса (GPR) до наборів даних високих розмірів. Я розглядаю деякі з різних розріджених методів GPR (наприклад, рідкісні псевдо входи GPR), щоб побачити, що може працювати для наборів даних високих розмірів, де ідеально підбір функції є частиною процесу вибору параметрів.

Будь-які пропозиції щодо паперів / коду / чи різних методів для випробування безумовно вдячні.

Дякую.

— Томас
джерело

Як зазначалося, це питання досить розпливчасте. Питання, які є самостійними, конкретними та добре мотивованими, як правило, отримують тут найбільше уваги та найкращих відповідей. (Наприклад, якщо у вас є певна проблема, яку ви намагаєтеся вирішити, подумайте про надання достатньої кількості деталей, щоб читачі могли зрозуміти, що ви намагаєтесь зробити.)

— кардинал

Моделі процесів Гаусса, як правило, чудові з великими розмірними наборами даних (я використовував їх із даними мікромасив тощо). Основне значення полягає у виборі хороших значень для гіперпараметрів (які ефективно контролюють складність моделі аналогічним чином, як це робить регуляризація).

Рідкі методи та методи псевдо введення скоріше скористаються наборами даних з великою кількістю зразків (> приблизно 4000 для мого комп'ютера), а не великою кількістю функцій. Якщо у вас є достатньо потужний комп'ютер для виконання розбиття Чолеського матриці коваріації (n на n, де n - кількість зразків), вам, ймовірно, не потрібні ці методи.

Якщо ви користувач MATLAB, то я настійно рекомендую інструментарій GPML та книгу Расмуссена та Вільямса як хороші місця для початку.

ЗАРАЗ, якщо вас цікавить вибір функцій, то я б уникав лікарів загальної практики. Стандартний підхід до вибору функцій з GP - це використовувати ядро автоматичного визначення відповідності (наприклад, covSEard в GPML), а потім досягти вибору функції шляхом настройки параметрів ядра для максимальної граничної ймовірності. На жаль, цілком ймовірно, що в кінцевому підсумку перекриття граничної ймовірності і закінчення моделі, яка виконує (можливо, набагато гірше), ніж модель з простою сферичною радіальною базовою функцією (covSEiso в GPML).

В даний час моя фокус на дослідженні лежить на надмірному підборі у виборі моделі, і я виявив, що це стільки проблема для максимізації доказів у ГП, скільки для перехресної перевірки на основі оптимізації гіперпаралетів у моделях ядра, для деталей дивіться цей документ , і цей .

Вибір особливостей для нелінійних моделей дуже складний. Часто ви отримуєте кращі показники, дотримуючись лінійної моделі та використовуючи підходи типу регуляризації типу L1 (сітка Лассо / ЛАРС / Еластична сітка тощо) для досягнення рідкості чи випадкових лісових методів.

— Дікран Марсупіал
джерело

Дякую Дікрану. Я намагався подивитися на glmnet в R для регульованих лінійних моделей. На жаль, мої прогнози в кінцевому підсумку однакові (я вважаю, середина мого тренувального набору). Лінійні моделі, здається, важко витягують сигнал у моїх даних. Ось чому я шукав нелінійні моделі, які можуть мати справу з багатьма функціями / потенційними взаємодіями між функціями. Я майже впевнений, що дуже багато просять. Будь-які пропозиції на цьому фронті? У мене немає проблеми з P >> N. Використовуючи 150 функцій, 1000 прикладів.

— tomas

Гей Дикран. Це було досить розпливчасте запитання, яке я попросив у своїх коментарях шкодувати про це. Я ставлю на дошках більш конкретне питання. Ще раз дякую за вашу допомогу. stats.stackexchange.com/questions/30411/…

— tomas

не проблема, часто опрацювати, які питання складніше, ніж відповісти на них! Я перегляну інші питання.

— Дікран Марсупіал

Дякую за цю відповідь. У разі високих розмірних можливостей, але не настільки великих даних (n ~ 10k d ~ 1k), чи можна використовувати ARD для прискорення обчислень? Я використовую панель інструментів GPML. Чи могли ми автоматично «розшаровувати» матрицю коваріації, щоб зосередити увагу на відповідних характеристиках?

— Еміль

посилання " r.csail.mit.edu/papers/v8/cawley07a.html " не працює ... Це ця? jmlr.org/papers/v8/cawley07a.html . Можливо, корисне додавання повних цитат замість просто посилань :-)

— Цікаво,

Ви можете спробувати використовувати функції коваріації, розроблені спеціально для обробки даних високих розмірів. Розгляньте, наприклад, документ про аддитивну коваріантну функцію . Вони працювали краще, ніж інші найсучасніші функції коваріації в моїх чисельних експериментах з деякими реальними даними досить великого вхідного виміру (про $30$ ).

Однак, якщо вхідний розмір дійсно величезний (більше, ніж $100$ або $200$ ) здається, що будь-який метод ядра вийде з ладу, і для регресії процесів Гаусса не виключено.

— Олексій Зайцев
джерело