Які методи існують для налаштування гіперпараметрів ядра графіку SVM?

У мене є деякі дані, які існують на графіку . Вершини належать до одного з двох класів , і мені цікаво навчати SVM для розмежування двох класів. Одним відповідним ядром для цього є дифузійне ядро , де $G=(V,E)$ $y_i\in\{-1,1\}$ $K=\exp(-\beta L),$ єлапласіаномз і є параметром настройки. $L$ $G$ $\beta$

Налаштування SVM вимагає вибору гіперпараметрів, тому мені доводиться налаштовувати Зазвичай для цієї проблеми ми використовуємо перехресну перевірку, але це не здається доречним, оскільки опускаємо вершину $\theta=(\beta, C).$ $i$ з змінює весь графік, можливо навіть збільшуючи кількість підключених компонентів! Якщо кількість підключених компонентів змінюється, деякі вершини стають недоступними для інших, і ми стикаємося з зовсім іншим набором даних, ніж ми починали. Тобто, ми не тільки не вистачаємо вилученої вершини , але й не вистачаємо інформації про всі інші вершини $G$ $i$ $j$ на графіку, який прилягав до цієї вершини.

Основне поняття перехресної перевірки полягає в тому, що ми хотіли б наблизити, як буде працювати модель, коли вона представлена новими даними. У стандартних проблемах відсутність деяких ваших даних для тестування не змінює значення решти навчальних даних. Однак у випадку даних графіків не зрозуміло, що означає для моделі бачити "нові" дані в налаштуваннях CV. Опущення вершин або ребер може повністю змінити дані. Наприклад, уявіть собі вершини графіка , а всі інші вершини мають 1 край. Опускаючи центральну вершину для побудови навчальних даних $S=(V_S,E_S)$ який є графіком зір, в якому одна вершина має ребра до $k$ $k$ $k$ $S^*$ то повністю від'єднається графік, а матриця ядра буде діагональною! Але, звичайно, можна буде навчити модель на цих даних про навчання, наданих у . Менш зрозуміло, що це означає перевірити працездатність, що виходить із вибірки отриманої моделі. Чи можна перерахувати матрицю ядра для , і надає її для прогнозування? $S^*$ $S$

Або, альтернативно, починається з обчислення матриці ядра $S$ $S$ $y$ з опущених вузлів, тому нам може бути зручно, що ми отримуємо досить неупереджені позапробові оцінки від виконання CV таким чином.

Як можна вибрати гіперпараметри для проблем такого типу? Чи резюме недосконале, але прийнятне чи нам потрібні спеціалізовані методи? Чи можлива настройка гіперпараметрів взагалі в моєму контексті?

— Sycorax каже, що відновіть Моніку
джерело

Шукайте розширення для вибірки для спектральних методів. У своїй дипломній роботі я застосував деякі методи класифікації зображень (озираючись назад, я би зробив це інакше). Результати були цікаві, але самі моделі були досить крихкими і непростими у налаштуванні.

— Владислав Довгалеч

@xeon Будь-які рекомендації з того, з чого почати переглядати цю літературу?

— Sycorax каже, що повернеться в Моніку

Відмова: Я не дуже знайомий з ядрами графіків, тому ця відповідь може базуватися на помилкових припущеннях. Я згоден, що опускання вершин під час обчислення матриці ядра неоптимально. Однак, я не впевнений, що перехресне підтвердження обов'язково є проблематичним. Передача чи індукція вашого контексту навчання?

$\beta$

$\beta$ $C$ $\beta$ $C$

— Марк Класен
джерело

Марк, дякую за увагу. Моя проблема індуктивна. Мій інстинкт полягає в тому, що ви правильні, і що ми обчислюємо повну матрицю ядра для всіх даних, а потім опускаємо рядки та стовпці в міру необхідності для створення ядра CV'd. Чи траплялося б вам знати про якісь посилання на цей ефект?

— Sycorax каже, що повернеться до Моніки

Не одразу, але у мене є деякі колеги, які працюють над порівнянними проблемами (спектральне кластеризація ядра), про які я можу запитати. Можливо, у них є посилання та / або кращі ідеї. Оновлять, коли я дізнаюся більше.

— Marc Claesen