Який метод ядра дає найкращі ймовірні результати?

Нещодавно я використовував Платт-масштабування SVM-виходів для оцінки ймовірностей подій за замовчуванням. Більше прямих альтернатив, здається, "логістична регресія ядра" (KLR) та пов'язана з цим "Імпортна векторна машина".

Хто-небудь може сказати, який метод ядра, що дає ймовірні результати, є сучасним рівнем? Чи існує R-реалізація KLR?

Велике спасибі за вашу допомогу!

logistic svm kernel-trick

— РічардН
джерело

(+1) Дуже цікаве запитання ...

— steffen

Відповіді:

Гауссова класифікація процесів (з використанням розповсюдження очікувань), ймовірно, є найсучаснішим у машинному навчанні. Існує відмінна книга Расмуссена та Вільямса ( доступна для завантаження безкоштовно), на веб-сайті якої є дуже хороша реалізація MATLAB. Інші програми, книги, газети і т.п. тут . Однак на практиці KLR, ймовірно, спрацює так само добре для більшості проблем, основна складність полягає у виборі параметрів ядра та регуляризації, що, ймовірно, найкраще зробити за допомогою перехресної перевірки, хоча перехресна перевірка виходу з одного виходу може бути приблизна дуже ефективно див. Каулі та Талбот (2008).

— Дікран Марсупіал
джерело

(+1) Дякуємо за посилання та поради щодо вибору моделі.

— chl

Додам, не використовуйте реалізацію, засновану на наближенні Лапласа - задня частина сильно перекошена, а симетричне наближення, орієнтоване на режим, як правило, не працює дуже добре.

— Дікран Марсупіал

Дякую Дікрану! Чи можете ви пояснити мені відношення згладжування KLR та ядра? Модель KLR побудована аналогічно SVm [втрата + штраф] та вирішується за допомогою градієнтного спуску. Але в той же час посилання (наприклад, у "Логістичній регресії ядра та імпортної векторної машини", Чжу та Хасті 2005) на KLR стосуються літератури згладжування (наприклад, "Узагальнені моделі добавок", Hastie та Tibshirani 1990).

— RichardN

Я не так добре знайомий з літературою про згладжування, але моделі ядра тісно пов'язані зі згладжуванням сплайну. Я думаю, що найкращим місцем для пошуку були б публікації Грейс Вахби ( stat.wisc.edu/~wahba ), які працюють як на згладжування, так і на способи ядра.

— Дікран Марсупіал

Дякую, я детальніше ознайомлюся з публікаціями wahba. Чи можете ви порекомендувати реалізацію KLR, у кращому випадку на R?

— RichardN

Я думаю, ви знаєте, що ядро для логістичної регресії є непараметричним, тому, перш за все, у вас є таке обмеження.

Щодо пакету R, я знаю і працює досить добре, це np : непараметричні методи згладжування ядра для змішаних типів даних

Цей пакет пропонує різноманітні непараметричні (і напівпараметричні) методи ядра, які легко обробляють суміш безперервних, не упорядкованих та упорядкованих типів даних фактора.

Що стосується найсучаснішого kernell, я можу рекомендувати експериментувати з тими, які описані в цьому документі з 2009 року.

— mariana soffer
джерело

Привіт, Мар'яна, дякую за вашу відповідь, але у нас виникло непорозуміння: я маю на увазі під «методами ядра» маю на увазі такі методи, як машина підтримки векторів, що використовує «трюк ядра», а не методи згладжування ядра.

— РічардN