Поєднання класифікаторів, гортаючи монету

Я вивчаю курс машинного навчання, а слайди лекцій містять інформацію, що мені суперечить рекомендованій книзі.

Проблема полягає в наступному: є три класифікатори:

• класифікатор A, що забезпечує кращі показники роботи в нижньому діапазоні порогів,
• класифікатор B, що забезпечує більш високу продуктивність у більш високому діапазоні порогів,
• класифікатор C, що ми отримуємо, перегортаючи p-монету та вибираючи з двох класифікаторів.

Якою буде продуктивність класифікатора C, який розглядається на кривій ROC?

У слайдах лекції зазначається, що, просто перегорнувши цю монету, ми отримаємо магічний « опуклий корпус » кривої ROC класифікатора A та B.

Я не розумію цього моменту. Як ми просто перевернемо монету, як ми можемо отримати інформацію?

Слайд лекції

Про що йдеться в книзі

Рекомендована книга (« Збір даних ...» Й. Х. Віттена, Ейбе Франка та Марка А. Холла ), з іншого боку, говорить:

Щоб побачити це, виберіть конкретне обмеження ймовірності для методу A, який дає справжню та хибну позитивну швидкість tA та fA відповідно, та інше відсічення для методу B, що дає tB та fB. Якщо ви використовуєте ці дві схеми навмання з ймовірностями p і q, де p + q = 1, то ви отримаєте істинні та хибні додатні показники p. tA + q. тБ і р. fA + q. fB. Це являє собою точку, що лежить на прямій, що з'єднує точки (tA, fA) і (tB, fB), і, змінюючи p і q, ви можете простежити всю лінію між цими двома точками.

Наскільки я розумію, те, що йдеться в книзі, полягає в тому, що, щоб насправді отримати інформацію та досягти опуклого корпусу, нам потрібно зробити щось більш вдосконалене, ніж просто перевернути п-монету.

AFAIK, правильний спосіб (як пропонується у книзі) полягає в наступному:

1. нам слід знайти оптимальний поріг Oa для класифікатора A
2. нам слід знайти оптимальний поріг Ob для класифікатора B

3. визначте С таким чином:

   • Якщо t <Oa, використовуйте класифікатор A з t
   • Якщо t> Ob, використовуйте класифікатор B з t
   • Якщо Oa <t <Ob, виберіть між класифікатором A з Oa і B з Ob ймовірність як лінійну комбінацію того, де ми знаходимось між Oa і Ob.

Це правильно? Якщо так, то є кілька ключових відмінностей порівняно з тим, що слайди пропонують.

1. Це не просто гортання монети, а більш досконалий алгоритм, який потребує визначених вручну точок і вибирає залежно від того, в який регіон ми потрапляємо.
2. Він ніколи не використовує класифікатор A і B з пороговими значеннями між Oa та Ob.

Чи можете ви пояснити мені цю проблему і який правильний спосіб її зрозуміти , якщо моє розуміння було невірним?

Що буде, якби ми просто перевернули монети p, як запропонували слайди? Я думаю, що ми отримаємо криву ROC, яка знаходиться між A і B, але ніколи "кращою", ніж краща в даній точці.

Наскільки я бачу, я дійсно не розумію, як слайди можуть бути правильними. Імовірнісний розрахунок ліворуч для мене не має сенсу.

Оновлення: знайдено статтю, написану оригінальним автором, який винайшов метод опуклого корпусу: http://www.bmva.org/bmvc/1998/pdf/p082.pdf

(Відредаговано)

Слайди лекції мають рацію.

Метод A має "оптимальну точку", яка дає справжню та хибну позитивну швидкість (TPA, FPA у графіку) відповідно. Ця точка відповідала б порогу, або в цілому [*] оптимальною межею рішення для А. Це все одно стосується Б. (Але пороги та межі не пов'язані).

Видно, що класифікатор A виконує прихильність відповідно до переваги "мінімізувати помилкові позитиви" (консервативна стратегія) та класифікатора B, коли ми хочемо "максимально реалізувати справжні позитиви" (стратегія прагнення).

Відповідь на ваше перше запитання, в основному, так, за винятком того, що ймовірність монети (в деякому сенсі) довільна. Кінцевим класифікатором буде:

$x$$x$$p$

(Виправлено: насправді лекції цілком вірні, ми можемо просто перевернути монету в будь-якому випадку. Див. Схеми)

$p$

[*] Ви тут повинні бути загальними: якщо ви думаєте з точки зору єдиного скалярного порогу, все це має мало сенсу; одновимірна ознака з пороговим класифікатором не дає вам достатньої міри свободи для того, щоб мати різні класифікатори як A і B, які виконуються по різних кривих, коли вільні параметри (межа рішення = поріг) змінюються. Іншими словами: A і B називаються "методами" або "системами", а не "класифікаторами"; тому що A - це ціла сім'я класифікаторів, параметризована деяким параметром (скалярним), який визначає межу рішення, а не просто скалярну]

Я додав кілька діаграм, щоб зробити це більш зрозумілим:

$t$$t$$t$$t_A=2$$t$$t_B=4$

Тоді в цьому сценарії можна сказати, що заповнений помаранчевий рядок є "оптимальним класифікатором А" (всередині його сімейства), і той самий для В. Але не можна сказати, чи помаранчева лінія краща за синю лінію: краще, коли ми присвоюємо високу вартість помилковим позитивам, інше, коли помилкові негативи значно дорожчі.

Тепер може статися, що ці два класифікатори занадто крайні для наших потреб, нам би хотілося, щоб обидва типи помилок мали однакову вагу. Ми хотіли б замість того, щоб використовувати класифікатор A (помаранчева точка) або B (синя точка) для досягнення ефективності, яка знаходиться між ними. Як кажуть у курсі, можна досягти цього результату, просто перегорнувши монету та вибравши один із класифікаторів навмання.

Як ми просто перевернемо монету, як ми можемо отримати інформацію?

Ми не отримуємо інформацію. Наш новий рандомізований класифікатор не просто "кращий", ніж A або B, його продуктивність є середнім рівнем A і B, що стосується витрат, що відносяться до кожного типу помилок. Це може бути для нас корисним чи не вигідним, залежно від того, які наші витрати.

AFAIK, правильний шлях (як пропонується у книзі) наступний ... Це правильно?

$p$

Я згоден з вашими міркуваннями. Якщо ви використовуєте класифікатор, перегортаючи монети, щоб вибрати один, коли ви знаходитесь між точками А та В, точка на кривій завжди буде нижче кращого класифікатора та вище бідного та, можливо, вище обох! З діаграмою повинно бути щось не так. У точці, коли 2 криві ROC перетинають алгоритм випадкового вибору, буде мати таку ж ефективність, як і два алгоритми. Це буде не вище того, як зображено на схемі.