26

Припустимо, я хочу зробити бінарну класифікацію (щось належить до класу A або класу B). Є кілька можливостей зробити це у вихідному шарі нейронної мережі:

Використовуйте 1 вихідний вузол. Вихід 0 (<0,5) вважається класом A, а 1 (> = 0,5) вважається класом B (у випадку сигмоїдної)
Використовуйте 2 вихідних вузла. Вхід належить до класу вузла з найвищим значенням / ймовірністю (argmax).

Чи є написані документи, які (також) обговорюють це? Які конкретні ключові слова слід шукати?

Це питання вже задається на цьому сайті, наприклад, дивіться це посилання без реальних відповідей. Мені потрібно зробити вибір (магістерська робота), тому я хочу отримати уявлення про плюси / мінуси / обмеження кожного рішення.

machine-learning classification neural-networks

— Роберт
джерело

Я думаю, що ОП пов'язаного питання має хороший момент, різниця лише в тому, що вибір 2 має більшу кількість параметрів, є більш гнучким, але більш схильним до надмірного розміщення.

— dontloo

1

У програмі Udacity ML Nanodegree я дізнався, що краще використовувати один вихідний вузол, якщо результат взаємно виключається просто тому, що в мережі менше помилок. Я думаю, що у використанні 2 вихідних вузлів у цьому випадку немає ніяких плюсів, але я не маю наукових підтверджень для цього

— CodingYourLife

25

У другому випадку ви, напевно, пишете про функцію активації програмного забезпечення. Якщо це правда, то сигмоїд - це лише особливий випадок функції softmax. Це легко показати.

у = \frac{1}{1 + е^{- х}} = \frac{1}{1 + \frac{1}{е^{х}}} = \frac{1}{\frac{е^{х} + 1}{е^{х}}} = \frac{е^{х}}{1 + е^{х}} = \frac{е^{х}}{е^{0} + е^{х}}

$y = \frac{1}{1 + e ^ {-x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{e ^ x}{1 + e ^ x} = \frac{e ^ x}{e ^ 0 + e ^ x}$

Як ви бачите, сигмоїд - це те саме, що і softmax. Можна подумати, що у вас є два виходи, але один з них має всі ваги, що дорівнюють нулю, і тому його вихід завжди буде дорівнює нулю.

Тож кращим вибором для двійкової класифікації є використання одного вихідного блоку із сигмоїдом замість софтмаксу з двома вихідними одиницями, оскільки він буде оновлюватися швидше.

— тощо
джерело

Коли ви говорите, що одна з них має всі ваги нульові, ви маєте на увазі, що модель навіть не вважала одного з класів під час тренувань? На практиці ми можемо насправді тренувати цей двійковий класифікатор лише з одним класом даних про навчання?

— мертвий код

x > 0

$x > 0$

x < 0

$x < 0$

x

$x$

0

$0$

1

Зауважте, що є вироджені рішення форми exp(x+alpha) / (exp(alpha) + exp(x+alpha))- насправді їх нескінченна кількість - всі вони дають той же результат класифікації, що і той, який відмічений з вагами всі 0. Ваги, швидше за все, не тренуються до нуля, але будуть тренуватися, а не вироджуватися з розчином, який має вагу всього 0. Уникайте (безглуздих і марнотратних) вироджених розчинів, використовуючи лише один вихідний нейрон, схоже.

— Дан Ніссенбаум

2

Тут алгоритми машинного навчання, такі як класифікатори, статистично моделюють вхідні дані, визначаючи ймовірності введення даних, що належать до різних категорій. Для довільної кількості класів, як правило, до моделі додається шар softmax, щоб виходи мали імовірнісні властивості за конструкцією:

\vec{у} = софтмакс (\vec{а}) \equiv \frac{1}{\sum_{i} е^{- а_{i}}} \times [е^{- а_{1}}, е^{- а_{2}}, . . ., е^{- а_{н}}]

$\vec{y} = \text{softmax}(\vec{a}) \equiv \frac{1}{\sum_i{ e^{-a_i} }} \times [e^{-a_1}, e^{-a_2}, ...,e^{-a_n}]$

0 \leq у_{i} \leq 1 для всіх i

$0 \le y_i \le 1 \text{ for all i}$

у_{1} + у_{2} + . . . + у_{н} = 1

$y_1 + y_2 + ... + y_n = 1$

$a$

Це цілком справедливо для двох класів, однак також можна використовувати один нейрон (замість двох), враховуючи, що його вихід задовольняє:

0 \leq у \leq 1 для всіх входів.

$0 \le y \le 1 \text{ for all inputs.}$

a

$a$

y

$y$

сигмовидної (а) \equiv σ (а) \equiv \frac{1}{1 + е^{- а}}

$\text{sigmoid}(a) \equiv \sigma(a) \equiv \frac{1}{1+e^{-a}}$

корисні математичні властивості (диференціювання, обмеження між 0 і 1 і т.д.), обчислювальна ефективність та наявність правильного нахилу таким чином, що оновлення ваг мережі мало б невелику, але вимірювану зміну виводу для оптимізації.

Висновок

Я не впевнений, чи міркування @ itdxer, що показує софтмакс та сигмоїд, є еквівалентними, якщо вони дійсні, але він правильний щодо вибору 1 нейрона на відміну від 2 нейронів для бінарних класифікаторів, оскільки потрібно менше параметрів та обчислень. Мене також критикували за використання двох нейронів для двійкового класифікатора, оскільки "це зайве".

— Милосердні
джерело

Нейронна мережа: Для двійкової класифікації використовуйте 1 або 2 вихідних нейрона?

Висновок