Що означає "розподіляти параметри між функціями та класами"

Під час читання цього документу є рядок, в якому сказано, що "лінійні класифікатори не ділять параметри між функціями та класами". У чому сенс цього твердження? Чи означає це, що лінійні класифікатори, такі як логістична регресія, потребують функцій, які взаємно незалежні?

machine-learning logistic-regression multilabel-classification

— joydeep bhattacharjee
джерело

Я спробую відповісти на це питання за допомогою логістичної регресії , одного з найпростіших лінійних класифікаторів.

Найпростіший випадок логістичної регресії - це якщо у нас є завдання бінарної класифікації ( і лише одна особливість введення ( ). У цьому випадку результатом логістичної регресії буде: $y \in\{0,1\})$ $x \in R$

\hat{y} = σ (w \cdot x + b)

$\hat y = σ(w \cdot x + b)$ де

w

$w$ і

b

$b$ - обидва скаляри . Вихід моделі

\hat{y} \in [0, 1]

$\hat y \in [0,1]$ відповідає ймовірності того, що

x

$x$ буде класом

1

$1$ .

Ми спробуємо розбити фразу "лінійні класифікатори не ділять параметри між функціями та класами" на дві частини. Ми розглянемо окремі випадки декількох функцій та декількох класів, щоб перевірити, чи логістична регресія розділяє параметри для будь-яких цих завдань:

Чи ділять лінійні класифікатори параметри серед функцій?

У цьому випадку для кожного прикладу $y$ - скаляр, який приймає двійкові значення (як і раніше), а $x$ - вектор довжини $N$ (де $N$ - кількість ознак). Тут вихід - це лінійна комбінація вхідних функцій (тобто зважена сума цих функцій плюс ухили).

\hat{y} = σ (\sum_{i}^{N} (w_{i} \cdot x_{i}) + b) o r σ (w \cdot x + b)

$\hat y = σ \left(\sum_i^N{(w_i \cdot x_i)} + b\right) \;\; or \;\; σ( \mathbf w \cdot \mathbf x + b)$ , де і є вектори довжини . Продукт створює скаляр. Як видно зверху, для кожної вхідної функції є окрема вага і ці ваги не залежать від усіх засобів. З цього можна зробити висновок про відсутність спільного використання параметрів між функціями .

x

$\mathbf x$

w

$\mathbf w$

N

$N$

x \cdot w

$\mathbf x \cdot \mathbf w$

w_{i}

$w_i$

x_{i}

$x_i$

Чи ділять лінійні класифікатори параметри між класами?

У цьому випадку - скалярний, проте - вектор довжини (де - кількість класів). Для вирішення цього питання логістична регресія по суті створює окремий вихід для кожного з класів. Кожен вихід є скалярним і відповідає ймовірності що належить до класу . $x$ $y$ $M$ $M$ $y_j$ $M$ $y_j \in [0,1]$ $x$ $j$

\hat{y} = w \cdot x + b, w h e r e \hat{y} = {\hat{y}}_{1}, {\hat{y}}_{2}, . . ., y_{M}

$\mathbf{ \hat y} = w \cdot \mathbf x + \mathbf b, \;\; where \;\; \mathbf{ \hat y} = {\hat y_1, \hat y_2, ..., y_M}$

Найпростіший спосіб думати про це , як простих незалежних логістичних регресій кожна з виходом: $M$

{\hat{y}}_{j} = σ (w_{j} \cdot x + b_{j})

$\hat y_j = σ(w_j \cdot x + b_j)$

З вищесказаного очевидно, що між різними класами немає ваг .

багатофункціональність та багатокласність :

Комбінуючи два вищезазначені випадки, ми можемо нарешті дійти до найзагальнішого випадку з кількох функцій та кількох класів:

\hat{y} = σ (W \cdot x + b)

$\mathbf{ \hat y} = σ( \mathbf W \cdot \mathbf x + \mathbf b)$ де - вектор з розміром , - вектор з розміром , - вектор з розміром а - матриця розміром .

\hat{y}

$\mathbf{ \hat y}$

M

$M$

x

$\mathbf x$

N

$N$

b

$\mathbf b$

M

$M$

W

$W$

(N \times M)

$(N \times M)$

У будь-якому випадку лінійні класифікатори не поділяють жодних параметрів серед функцій чи класів .

Щоб відповісти на ваше друге запитання, лінійні класифікатори мають основне припущення, що функції повинні бути незалежними , проте це не те, що автор статті мав намір сказати.

— Джиб2011
джерело

Приємне пояснення. :)

— joydeep bhattacharjee