Чи є КНН дискримінаційним алгоритмом навчання?

17

Здається, що KNN - це дискримінаційний алгоритм навчання, але я не можу знайти Інтернет-джерел, які це підтверджували.

machine-learning classification k-nearest-neighbour

— jpmuc
джерело

19

KNN - дискримінаційний алгоритм, оскільки моделює умовну ймовірність вибірки, що належить даному класу. Щоб побачити це, просто розгляньте, як можна дістатись до правила прийняття рішень kNN.

Мітка класу відповідає безлічі точок, що належать деякій області в просторі ознак . Якщо ви намалюєте вибіркові точки з фактичного розподілу ймовірностей, , незалежно, то ймовірність малювання вибірки з цього класу дорівнює, $R$ $p(x)$

P = \int_{R} p (x) d х

$P = \int_{R} p(x) dx$

Що робити, якщо у вас балів? Ймовірність того, що точки цих точок потрапляють в область слід біноміального розподілу, $N$ $K$ $N$ $R$

P r o b (K) = (\binom{N}{K}) P^{K} (1 - P)^{N - K}

$Prob(K) = {{N} \choose {K}}P^{K}(1-P)^{N-K}$

Оскільки це розподіл різко досягає максимальної величини, так що ймовірність може бути наближена до його середнього значення $N \to \infty$ . Додатковим наближенням є те, що розподіл ймовірностей позалишається приблизно постійним, так що можна наблизити інтеграл по де- загальний об'єм області. При цьому наближення $\frac{K}{N}$ $R$

P = \int_{R} p (x) d x \approx p (x) V

$P = \int_{R} p(x) dx \approx p(x)V$

V

$V$

.

p (x) \approx \frac{K}{N V}

$p(x) \approx \frac{K}{NV}$

Тепер, якби у нас було кілька класів, ми могли б повторити один і той же аналіз для кожного, який дав би нам де- кількість балів від класущо потрапляє в цей регіон, а- загальна кількість балів, що належать до класу. Примітка.

p (x | C_{k}) = \frac{K_{k}}{N_{k} V}

$p(x|C_{k}) = \frac{K_{k}}{N_{k}V}$

K_{k}

$K_{k}$

k

$k$

N_{k}

$N_{k}$

C_{k}

$C_k$

\sum_{k} N_{k} = N

$\sum_{k}N_{k}=N$

Повторивши аналіз з біноміальним розподілом, легко побачити, що ми можемо оцінити попередній . $P(C_{k}) = \frac{N_{k}}{N}$

P (C_{k} | x) = \frac{p (x | C_{k}) p (C_{k})}{p (x)} = \frac{K_{k}}{K}

$P(C_{k}|x) = \frac{p(x|C_{k})p(C_{k})}{p(x)} = \frac{K_{k}}{K}$

— jpmuc
джерело

2

Довідка не включає будь-яку інформацію про KNN. Це правильний?

— bayerj

1

Я мав на увазі це, щоб визначити те, що розуміється під дискримінаційним алгоритмом проти генеративом.

— jpmuc

5

Відповідь @jpmuc здається не точною. Генеративні моделі моделюють базовий розподіл P (x / Ci), а потім використовують теорему Байєса для пошуку задніх ймовірностей. Саме це було показано у цій відповіді, а потім робиться висновок про зовсім протилежне. : О

Щоб KNN була генеративною моделлю, ми повинні мати можливість генерувати синтетичні дані. Здається, що це можливо, коли ми маємо деякі дані початкової підготовки. Але починати від відсутність даних про навчання та генерувати синтетичні дані неможливо. Тож KNN не чудово поєднується з генеративними моделями.

Можна стверджувати, що KNN є дискримінаційною моделлю, оскільки ми можемо провести дискримінаційну межу для класифікації, або ми можемо обчислити задній P (Ci / x). Але все це вірно і у випадку генеративних моделей. Справжня дискримінаційна модель нічого не говорить про основний розподіл. Але у випадку з KNN ми знаємо дуже багато про основний розподіл, за фактом ми зберігаємо весь навчальний набір.

Тому, схоже, KNN знаходиться на шляху між генеративними та дискримінаційними моделями. Можливо, саме тому KNN не класифікується за жодною із генеративних чи дискримінаційних моделей у відомих статтях. Назвемо їх просто непараметричними моделями.

— Біну Ясим
джерело

Я не згоден. "Генеративні класифікатори вивчають модель спільної ймовірності, p (x, y), входів x і мітки y, і роблять свої прогнози, використовуючи правила Байєса для обчислення p (ilx), а потім вибираючи найбільш ймовірну мітку y . Дискримінаційні класифікатори безпосередньо моделюють задній p (ilx) або вивчають пряму карту з входів x до міток класу ". Див. "Про дискримінаційні та генеративні класифікатори: порівняння логістичної регресії та наївного Байєса"

— jpmuc

3

Я прийти через книгу , яка говорить зворотна ( тобто Generative Непараметрична Класифікація модель)

Це посилання в Інтернеті: Машинне навчання імовірнісної перспективи від Мерфі, Кевін П. (2012)

Ось уривок із книги:

— Гюроль Канбек
джерело

Повинна бути помилка ..

1

Я згоден, що kNN є дискримінаційним. Причина полягає в тому, що вона явно не зберігає і не намагається вивчити (ймовірнісну) модель, яка пояснює дані (на відміну від, наприклад, Naive Bayes).

Відповідь juampa мене бентежить, оскільки, наскільки я розумію, генеративний класифікатор - це той, який намагається пояснити, як генеруються дані (наприклад, використовуючи модель), і ця відповідь говорить про те, що це дискримінація через цю причину ...

— Амір
джерело

1

Генеративна модель вивчає P (Ck, X), тому ви можете генерувати більше даних, використовуючи спільний розподіл. На відміну від цього, дискримінаційна модель вивчить P (Ck | X). На це вказує @juampa з KNN.

— Жубарб

1

Під час класифікації і генеративні, і дискримінаційні закінчуються з використанням умовних ймовірностей для прогнозування. Однак генеративні класифікатори вивчають спільну ймовірність і за правилом Байєса він обчислює умовну, тоді як у дискримінаційному класифікаторі або обчислює безпосередньо умовне, або забезпечує наближення до того самого доброго, наскільки воно може отримати.

— rapaio