Генеративні та дискримінаційні моделі (в баєсівському контексті)

Які відмінності між генеративною та дискримінаційною (дискримінантною) моделлю (в контексті байєсівського навчання та умовиводу)?

і що це стосується прогнозування, теорії рішень або непідконтрольного навчання?

Обидва використовуються в контрольованому навчанні, де потрібно вивчити правило, яке відображає введення x на вихід y, враховуючи ряд навчальних прикладів форми . Генеративна модель (наприклад, наївний Байєс) явно моделює спільний розподіл ймовірностей а потім використовує правило Байєса для обчислення . З іншого боку, дискримінаційна модель (наприклад, логістична регресія) безпосередньо моделює p (y | x) .$\{(x_i,y_i)\}$$p(x,y)$$p(y|x)$$p(y|x)$

Деякі люди стверджують, що дискримінаційна модель краща в тому сенсі, що вона безпосередньо моделює кількість, про яку ви дбаєте $(y)$ , тому вам не доведеться витрачати свої зусилля на моделювання на вхід x (потрібно обчислити $p(x|y)$ а також у генеративній моделі). Однак у генеративної моделі є свої переваги, такі як можливість поводження з відсутніми даними тощо. Для порівняння ви можете поглянути на цей документ: Про дискримінаційні та генеративні класифікатори: порівняння логістичної регресії та наївних байєсів

Можуть бути випадки, коли одна модель краща за іншу (наприклад, дискримінаційні моделі, як правило, краще, якщо у вас є багато даних; генеративні моделі можуть бути кращими, якщо у вас є кілька зайвих незазначених даних). Насправді, існують і моделі гібридів, які намагаються втілити найкращі з обох світів. Для прикладу див. Цей документ: Принципові гібриди генеративних та дискримінаційних моделей

Одне доповнення до вищезгаданої відповіді:

Оскільки дискримінант піклується лише про P (Y | X), тоді як генеративний стосується P (X, Y) і P (X) одночасно, для того щоб добре передбачити P (Y | X), генеративна модель має менший ступінь свободи в моделі порівняно з дискримінантною моделлю. Тож генеративна модель є більш надійною , менш схильною до надмірного оснащення, тоді як дискримінант - це навпаки.

Це пояснює вищезгадану відповідь

Можуть бути випадки, коли одна модель краща за іншу (наприклад, дискримінаційні моделі, як правило, краще, якщо у вас багато даних; генеративні моделі можуть бути кращими, якщо у вас є кілька зайвих незазначених даних).