Роз'яснення щодо правила Perceptron vs. Gradient Descent проти Stohastic Gradient Descent

Я трохи експериментував з різними реалізаціями Perceptron і хочу переконатися, чи правильно я розумію "ітерації".

Первісне правило персептрона Розенблатта

Наскільки я розумію, в класичному алгоритмі Розенблатта ваги одночасно оновлюються після кожного прикладу тренувань через

$\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target - actual)x_i$

де - це правило навчання. І цільове, і фактичне значення є пороговими (-1 або 1). Я реалізував це як 1 ітерація = 1 прохід над тренувальним зразком, але вектор ваги оновлюється після кожного тренувального зразка.$eta$

І я обчислюю "фактичне" значення як

$sign ({\pmb{w}^T\pmb{x}}) = sign( w_0 + w_1 x_1 + ... + w_d x_d)$

Стохастичний градієнтний спуск

$\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target - actual)x_i$

Те ж саме , як правило персептрон, однак, targetі actualНЕ пороги , а реальні значення. Крім того, я рахую "ітерацію" як шлях до навчальної вибірки.

І SGD, і класичне правило perceptron сходяться в цьому лінійно відокремленому випадку, однак у мене виникають проблеми з реалізацією градієнта.

Спуск градієнта

Тут я переглядаю зразок тренувань та підсумовую зміни ваги за 1 прохід над тренувальним зразком та оновлюю ваги після цього, наприклад,

для кожного зразка навчання:

$\Delta{w_{new}} \mathrel{{+}{=}} \Delta{w}^{(t)} + \eta(target - actual)x_i$

...

після 1 проходу через навчальний набір:

$\Delta{w} \mathrel{{+}{=}} \Delta{w_{new}}$

Мені цікаво, чи правильне це припущення чи я щось пропускаю. Я спробував різні (до нескінченно малих) темпів навчання, але ніколи не міг змусити його проявити ознаки конвергенції. Отже, мені цікаво, чи я неправильно зрозумів що-небудь. тут.

Спасибі, Себастьян

$\Delta$

Perceptron:

$\pmb{w}^{(t+1)} = \pmb{w}^{(t)} + \eta_t (y^{(i)} - \hat{y}^{(i)}) \pmb{x}^{(i)}$

де у ( я )- прогноз моделі на$\hat{y}^{(i)} = \text{sign} ({\pmb{w}^\top\pmb{x}^{(i)}})$$i^{th}$

Це можна розглядати як метод стохастичного субградієнта спуску за такою функцією "втрата перцептрона" *:

Втрати перцептрону:

$L_{\pmb{w}}(y^{(i)}) = \max(0, -y^{(i)} \pmb{w}^\top\pmb{x}^{(i)})$

$\partial L_{\pmb{w}}(y^{(i)}) = \begin{array}{rl} \{ 0 \}, & \text{ if } y^{(i)} \pmb{w}^\top\pmb{x}^{(i)} > 0 \\ \{ -y^{(i)} \pmb{x}^{(i)} \}, & \text{ if } y^{(i)} \pmb{w}^\top\pmb{x}^{(i)} < 0 \\ [-1, 0] \times y^{(i)} \pmb{x}^{(i)}, & \text{ if } \pmb{w}^\top\pmb{x}^{(i)} = 0 \\ \end{array}$

Оскільки perceptron вже є формою SGD, я не впевнений, чому оновлення SGD має відрізнятися від оновлення perceptron. Те, як ви написали крок SGD, з непороговими значеннями, ви зазнаєте збитків, якщо передбачити відповідь занадто правильно. Це погано.

Ваш крок градієнта партії неправильний, оскільки ви використовуєте "+ =", коли слід використовувати "=". Поточні ваги додаються для кожного навчального екземпляра . Іншими словами, так, як ви це написали,

$\pmb{w}^{(t+1)} = \pmb{w}^{(t)} + \sum_{i=1}^n \{\pmb{w}^{(t)} - \eta_t \partial L_{\pmb{w}^{(t)}}(y^{(i)}) \}$ .

Що має бути:

$\pmb{w}^{(t+1)} = \pmb{w}^{(t)} - \eta_t \sum_{i=1}^n {\partial L_{\pmb{w}^{(t)}}(y^{(i)}) }$ .

$\eta_t = \frac{\eta_0}{\sqrt{t}}$

$\pmb{w}^\top\pmb{x}^{(i)} = 0$), $\partial L= [-1, 0] \times y^{(i)} \pmb{x}^{(i)}$, так $\pmb{0} \in \partial L$, тож вам дозволили б не робити кроку. Відповідно, втрати перцептрону можна мінімізувати при$\pmb{w} = \pmb{0}$, що марно. Але в алгоритмі перцептрона вам потрібно розірвати зв’язки та використовувати підградієнтний напрямок$-y^{(i)} \pmb{x}^{(i)} \in \partial L$ if you choose the wrong answer.

So they're not exactly the same, but if you work from the assumption that the perceptron algorithm is SGD for some loss function, and reverse engineer the loss function, perceptron loss is what you end up with.