Калібрування багатокласного прискореного класифікатора


19

Я прочитав статтю Олександра Нікулеску-Мізіля та Річа Каруана " Отримання каліброваних ймовірностей від підвищення " та обговорення в цій темі. Однак у мене все ще виникають проблеми з розумінням та реалізацією логістичного чи масштабу Платта для калібрування результатів мого багатокласного прискорюючого класифікатора (ніжне підсилення з пнів).

Я дещо знайомий з узагальненими лінійними моделями, і, думаю, я розумію, як логістичні та методи калібрування Платта працюють у двійковому випадку, але я не впевнений, що знаю, як поширити описаний у статті метод на багатокласовий випадок.

Класифікатор, який я використовую, виводить наступне:

  • fij = Кількість голосів, які класифікатор надає класу для вибірки , що класифікуєтьсяji
  • yi = Оціночний клас

На даний момент у мене є такі питання:

Q1: Чи потрібно використовувати мультиноміальний logit для оцінки ймовірностей? чи я все ще можу це зробити з логістичною регресією (наприклад, в режимі 1 проти всіх )?

Q2: Як я повинен визначити проміжні цільові змінні (наприклад, як у масштабі Платта) для випадку класу?

Q3: Я розумію, що це може бути багато запитати, але чи хтось буде готовий накреслити псевдо-код цієї проблеми? (на більш практичному рівні я зацікавлений у рішенні в Matlab).


1
велике запитання. Я також задумався про те, як побудувати калібрування, навіть якщо ви використовуєте 1 проти решти схеми. Якщо ви створюєте k моделі, використовуючи 1 проти решти (і є k класи), чи потрібно / ви повинні якось їх нормалізувати, щоб вони дорівнювали 1 (наприклад, розділити кожну калібровану ймовірність на суму всіх k)?
B_Miner

Відповіді:


9

Ця тема мене також цікавить, тому я трохи провів дослідження. Ось два документи автора, які часто зазначені як довідник у цих питаннях.

  1. Трансформація класифікатора оцінює в точні оцінки багатокласової ймовірності
  2. Зменшення багатокласового рівня до двійкового шляхом з'єднання оцінок ймовірності

Суть методики, яку тут пропонують, полягає в тому, щоб зменшити задачу багатокласового рівня до двійкової (наприклад, одна проти решти, AKA одна проти всіх), використовувати техніку на зразок Платта (переважно, використовуючи тестовий набір), щоб визначити бінарні бали / ймовірності та потім комбінуйте їх, використовуючи техніку, про яку йдеться у статтях (одна - це розширення процесу "сполучення" Хасті та ін.). У першому посиланні найкращі результати були знайдені шляхом простої нормалізації бінарних ймовірностей, до яких вони дорівнюють 1.

Я хотів би почути іншу пораду, і якщо будь-який із цих техніків був задіяний у Р.


Посилання, згадані у відповіді, застаріли. Останні посилання: citeseerx.ist.psu.edu/viewdoc/… citeseerx.ist.psu.edu/viewdoc/…
Чандра

Перехресне посилання тут stats.stackexchange.com/questions/362460/…
TMrtSmith

Повторна відповідь. Це натякало мене на деякий час, але папір Задрозного та Елкана виявилася корисною.
сонгололо
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.