Чим відрізняється функціональний аналіз даних від високомірного аналізу даних


10

У статистичній літературі є багато посилань на " функціональні дані " (тобто дані, які є кривими), і паралельно на " дані високих розмірів " (тобто, коли дані є великомірними векторами). Моє запитання - про різницю між двома типами даних.

Коли ми говоримо про застосовані статистичні методології, які застосовуються у випадку 1, можна розуміти як перефразовування методологій із випадку 2 через проекцію в кінцевий розмірний підпростір простору функцій, це можуть бути поліноми, сплайни, вейвлет, Фур'є, ... і переведе функціональну задачу в кінцеву розмірну векторіальну задачу (оскільки в застосованій математиці все в деякий момент стає кінцевим).

Моє запитання: чи можна сказати, що будь-яка статистична процедура, яка стосується функціональних даних, також може бути застосована (майже безпосередньо) до даних високого розміру і що будь-яка процедура, присвячена високовимірним даним, може бути (майже безпосередньо) застосована до функціональних даних?

Якщо відповідь «ні», можете проілюструвати?

РЕДАКТУЙТЕ / ОНОВЛЕННЯ за допомогою відповіді Саймона Берна:

  • розрідженість (S-розріджене припущення, куля та слабка куля при ) використовується як структурне припущення у високомірному статистичному аналізі.l p p < 1lplpp<1
  • "гладкість" використовується як структурне припущення при аналізі функціональних даних.

З іншого боку, обернене перетворення Фур'є та зворотне вейвлет перетворення перетворюють спаричність у гладку, а гладкість перетворюється на спаритність за допомогою вейвлет та фур'є-перетворення. Це робить критичну різницю, згадану Саймоном, не такою критичною?


1
Згладжування - це велика частина функціонального аналізу даних, і його можна перетворити на проблему оцінки векторного середнього шляхом проекції на відповідну основу (наприклад, Фур’є чи вейвлет), але є інші проблеми в аналізі функціональних даних залежно від функціональної структури не перекладати так легко. Візьмемо для прикладу функціональну регресію, де вам цікаво передбачити функціональну відповідь від коваріатів.
vqv

Відповіді:


12

Функціональні дані часто включають різні питання. Я читав функціональний аналіз даних, Ramsey та Silverman, і вони проводять багато разів, обговорюючи реєстрацію кривих, функції викривлення та оцінку похідних кривих. Це, як правило, дуже різні запитання, ніж ті, які задають люди, зацікавлені у вивченні об'ємних даних.


Повністю згоден! питання, які задаються, різні. Реєстрація, орієнтир, оцінка похідних можуть виникати з функціонального погляду. Це переконує мене! значить, велика справа з функціональними даними (як це є в статистичній літературі) не в тому, що вона визначається на безперервній множині, а більше, ніж вона індексується на впорядкованому наборі?
Робін Жирард

Справа не лише в тому, що це визначено на впорядкованому наборі. Інакше як би ви відрізнили аналіз часових рядів від функціонального аналізу даних? Я погоджуюся з @ user549, оскільки він зводиться до типів запитань. Вони характерні для структури даних.
vqv

15

Так і ні. На теоретичному рівні обидва випадки можуть використовувати подібні методи та рамки (відмінний приклад - регресія процесу Гаусса).

Критична відмінність полягає в припущеннях, що використовуються для запобігання надмірного пристосування (регуляризації):

  • У функціональному випадку зазвичай існує деяке припущення про гладкості, іншими словами, значення, що виникають близько один до одного, повинні бути подібними деяким систематичним чином. Це призводить до використання таких прийомів, як сплайни, лес, гауссові процеси тощо.

  • У високорозмірному випадку зазвичай існує припущення про обмеженість: тобто лише підмножина розмірів матиме будь-який сигнал. Це призводить до методик, спрямованих на визначення цих розмірів (Лассо, ЛАРС, пріори плити та шипа тощо)

ОНОВЛЕННЯ:

Я не дуже думав про способи вейвлет / Фур’є, але так, методи порогового значення, що застосовуються для таких методів, спрямовані на обмеженість в прогнозованому просторі. І навпаки, деякі високомірні методи передбачають проекцію на низькомірний колектор (наприклад, аналіз основних компонентів), що є типом припущення гладкості.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.