Що означає активувати нейрон в нейронній мережі?

Я просто натрапив на концепцію покриття нейронів, яка є співвідношенням активованих нейронів та загальних нейронів у нейронній мережі. Але що означає нейрон "активуватися"? Я знаю, що таке функції активації, але що означає активація, наприклад у випадку ReLU або сигмоїдної функції?

Нейрон, як кажуть, активується, коли його вихід перевищує поріг, як правило, 0.

Наприклад: коли \ {рівняння} a = w ^ Tx + b> 0 \ кінець {рівняння}

$$\begin{equation} y = Relu(a) > 0 \end{equation}$$ $$\begin{equation} a = w^Tx+b > 0 \end{equation}$$

Те саме стосується сигмоподібних або інших функцій активації.

Термін "активований" в основному використовується, коли йдеться про функції активації, які виводять лише значення (крім 0), коли вхід до функції активації перевищує певний поріг.

Особливо при обговоренні ReLU може використовуватися термін "активований". ReLU буде "активовано", коли його вихід більший за 0, що також коли його вхід більше 0.

Інші функції активації, як сигмоїд, завжди повертають значення, що перевищує 0, і не мають спеціального порогу. Тому тут термін "активований" має менший зміст.

Незважаючи на те, що про них ми мало знаємо, нейрони в мозку також здаються чимось схожим на функцію активації з якимось «порогом активації».