Я багато читаю про використання сплайнів при різних проблемах регресії. Деякі книги (наприклад, Ходжес, рясно параметрізовані лінійні моделі ) рекомендують пенізовані сплайни. Інші (наприклад, регресійні стратегії моделювання регресії ) вибирають обмежені кубічні сплайни.
Наскільки вони відрізняються на практиці? Чи часто ви отримуєте істотно різні результати від використання того чи іншого? Чи має той чи інший переваги?
Відповіді:
З мого читання, два поняття, які ви просите нас порівняти, - це зовсім різні звірі і вимагають порівняння яблук та апельсинів. Це робить багато ваших запитань дещо суперечливими - в ідеалі (якщо припустити, що ви можете встановити штрафну умову для основи RCS у необхідній формі), ви б використали модель штрафу з обмеженою кубічною регресією сплайну.
Обмежений кубічний сплайн (або природний сплайн) - це сплайн-основа, побудована з кусково-кубічних поліномних функцій, які плавно з'єднуються в деяких заздалегідь заданих місцях або вузлах. Що відрізняє обмежений кубічний сплайн від кубічного сплайна, це те, що додаткові обмеження накладаються на обмежену версію, так що сплайн є лінійним перед першим вузлом і після останнього вузла. Це робиться для підвищення продуктивності сплайна в хвостах .
Вибір моделі за допомогою RCS зазвичай передбачає вибір кількості вузлів та їх розташування, причому перший визначає, наскільки химерно чи складним є отриманий сплайн. Якщо не проведено деяких подальших кроків, щоб регулювати розрахункові коефіцієнти при встановленні моделі, то кількість вузлів безпосередньо контролює складність сплайну.
Це означає, що у користувача є деякі проблеми, які необхідно подолати при оцінці моделі, що містить один або декілька термінів RCS:
Самі терміни RCS вимагають втручання користувача для вирішення цих проблем.
Покарані регресійні сплайси (sensu Hodges) лише у вирішенні проблеми 3. , але вони дозволяють обійти питання 1 . Ідея тут полягає в тому, що як і розширення бази , і зараз давайте просто припустимо, що це кубічна сплайнована основа, ви також створюєте матрицю штрафу wiggliness. Віггільність вимірюється за допомогою деякої похідної оціночної сплайну, при цьому типовою похідною є друга похідна, а сам штраф являє собою другу похідну в квадрат, інтегровану в діапазоні . Це покарання може бути записане у квадратичній формі як
де - штрафна матриця, а - модельні коефіцієнти. Тоді знаходяться значення коефіцієнтів для максимізації пеніалізованої ймовірності ймовірності ceriterion
де - вірогідність журналу моделі, а - параметр гладкості, який керує тим, наскільки сильно штрафувати хитливість сплайну.
Оскільки пеніалізована ймовірність вірогідності може бути оцінена за коефіцієнтами моделі, то встановлення цієї моделі ефективно стає проблемою пошуку оптимального значення при одночасному оновленні коефіцієнтів під час пошуку оптимального .
можна вибрати за допомогою перехресної валідації, узагальненої перехресної валідації (GCV) або граничної ймовірності або обмежених критеріїв граничної вірогідності. Останні два фактично переробляють сплайн-модель як модель змішаних ефектів (ідеально гладкі частини основи стають фіксованими ефектами, а складові частини основи є випадковими ефектами, а параметр гладкості обернено пов'язаний із терміном дисперсії для випадкових ефектів ), про що розглядає Ходжес у своїй книзі.
Чому це вирішує проблему, скільки вузлів використовувати? Що ж, це робить лише такий вид. Це вирішує проблему не потребувати вузла в кожній унікальній точці даних (згладжуючи сплайн), але все ж потрібно вибрати, скільки вузлів або базових функцій використовувати. Однак, оскільки штраф зменшує коефіцієнти, ви можете уникнути вибору найбільшого базового виміру, який, як вам здається, потрібен, щоб містити справжню функцію, або близьке наближення до неї, і тоді ви дозволяєте штрафу контролювати, як вільно оцінює оцінений сплайс у кінцевому підсумку. полягає в тому, що додаткова потенційна хитрість, наявна в основі, буде видалена або контролюється штрафом.
Штрафні (регресійні) сплайни та РКС - це зовсім різні поняття. Ніщо не заважає створити основу RCS та пов’язане з нею покарання у квадратичній формі, а потім оцінити коефіцієнти сплайну за допомогою ідей з моделі пенізованої регресії сплайну.
RCS - це лише один вид основи, який ви можете використовувати для створення основи сплайну, а санкціоновані регресійні сплайни - це один із способів оцінити модель, що містить один або кілька сплайнів із супутніми покараннями wiggliness.
Так, певною мірою, з основою тонкого пластинчатого сплайну (TPS). TPS основа має стільки базисних функцій як унікальні значення даних в . Вуд (2003) показав, що ви можете створити основу тонкої пластинчастої регресії сплайну (TPRS), використовуючи ейгендекомпозицію базових функцій TPS, зберігаючи лише перше найбільше значення. Вам ще потрібно вказати, кількість базових функцій, які ви хочете використовувати, але вибір, як правило, ґрунтується на тому, наскільки хитро ви очікуєте, що має бути встановлена функція, і скільки обчислювальних хітів ви готові прийняти. Не потрібно також вказувати місця вузлів, і штраф зменшує коефіцієнти, так що ви уникаєте проблеми з вибором моделі, оскільки у вас є лише одна пенізована модель, не багато непенізованих з різною кількістю вузлів.
Для того, щоб зробити це більш складним, існує тип основи сплайну, відомий як P-сплайн (Eilers & Marx, 1996)), де часто трактується як "штраф". P-сплайни - це основа B-сплайна з різницею штрафу, що застосовується безпосередньо до модельних коефіцієнтів. У типовому використанні покарання P-сплайна штрафує квадратичні відмінності між суміжними модельними коефіцієнтами, що, в свою чергу, карає вигідність. P-сплайни дуже прості у налаштуванні і призводять до отримання маточної матриці, що робить їх дуже придатними до оцінки термінів сплайну в байєсівських моделях на основі MCMC (Wood, 2017).
Eiler, PHC і BD Marx. 1996. Гнучке згладжування за допомогою сплайнів та пені. Стат. Наук.
Вуд, СН 2003. Тонка пластинка регресії сплайсів. JR Stat. Соц. Серія B Стат. Метод. 65: 95–114. doi: 10.1111 / 1467-9868.00374
Wood, SN 2017. Узагальнені моделі добавок: вступ з R, друге видання, преса CRC.