Чим відрізняються гіперпараметри моделі від параметрів моделі?

Я помітив, що такі терміни, як гіперпараметр моделі та параметр моделі , використовуються взаємозамінно в Інтернеті без попереднього уточнення. Я думаю, що це неправильно і потребує пояснення. Розглянемо модель машинного навчання, класифікатор на основі SVM / NN / NB або розпізнавач зображень - будь-що все, що спочатку спадає на думку.

Які гіперпараметри та параметри моделі?
Наведіть, будь ласка, свої приклади.

Гіперпараметри та параметри часто використовуються взаємозамінно, але між ними є різниця. Ви називаєте щось "гіперпараметром", якщо його неможливо дізнатись безпосередньо в оцінці. Однак "параметри" є більш загальним терміном. Коли ви говорите "передача параметрів моделі", це, як правило, означає комбінацію гіперпараметрів разом з деякими іншими параметрами, які безпосередньо не пов'язані з вашим оцінкою, але необхідні для вашої моделі.

Наприклад, припустимо, що ви будуєте класифікатор SVM в sklearn:

from sklearn import svm
X = [[0, 0], [1, 1]]
y = [0, 1]
clf = svm.SVC(C =0.01, kernel ='rbf', random_state=33)
clf.fit(X, y) 

У наведеному вище коді екземпляр SVM є вашим оцінником для вашої моделі, для якої гіперпараметри, в даному випадку, є Cі є kernel. Але у вашої моделі є ще один параметр, який не є гіперпараметром, і це random_state.

Крім відповіді вище.

Параметри моделі - це властивості навчальних даних, які дізнаються під час тренування класифікатором або іншою моделлю ml. Наприклад, у випадку деяких завдань NLP: частота слів, довжина речення, розподіл іменника чи дієслова на речення, кількість конкретних символів n-грам на слово, лексичне розмаїття тощо. Параметри моделі відрізняються для кожного експерименту та залежать від типу дані та завдання під рукою.

З іншого боку, модельні гіперпараметри є загальними для подібних моделей і їх не можна вивчити під час тренувань, але вони встановлюються заздалегідь. Типовий набір гіперпараметрів для NN включає кількість та розмір прихованих шарів, схему ініціалізації ваги, швидкість навчання та її розпад, поріг відсіву та поріг градієнта тощо.

Гіпер-параметри - це ті, які ми постачаємо в модель, наприклад: кількість прихованих вузлів і шарів, функції введення, швидкість навчання, функція активації тощо в нейронній мережі, тоді як Параметри - це ті, які були б засвоєні машиною, як ваги та зміщення. .

У машинному навчанні виглядає модель з параметрами і гіперпараметрами,$M$

$Y \approx M_{\mathcal{H}}(\Phi | D)$

де - параметри, а H - гіперпараметри. D - це дані навчання, а Y - вихідні дані (мітки класів у випадку завдання класифікації).$\Phi$$\mathcal{H}$$D$$Y$

Мета в процесі навчання, щоб знайти оцінку параметрів Ф , що оптимізує деякуфункцію втрат L ми вказали. Так, модель М і втрати функції л засновані на Н , то наступні параметри Φ також залежать від параметрів гіпер- H .$\hat{\Phi}$$\mathcal{L}$$M$$\mathcal{L}$$\mathcal{H}$$\Phi$$\mathcal{H}$

$\mathcal{H}$$M$$M_{\mathcal{H}}$

$M_{\mathcal{H}}$$\mathcal{H}$$\hat{\Phi}$$\mathcal{H}$

$Y_{pred}$$\Phi$$\mathcal{H}$

$\Phi = \{\bar{\mu}, \bar{\sigma} \}$$\bar{\mu}$$N$$\bar{\sigma}$$N$$N$

$N$$\mathcal{H} = \{N \}$$N$$D$$N$$N$$\Phi = \{\bar{\mu}, \bar{\sigma}, N \}$

$d$$D$$GMM(\bar{\mu}, \bar{\sigma})$$N$$N$$d$$d$$\mu$$\sigma$$N$

$M$$\mathcal{L}$

Спрощеними словами,

Параметри моделі - це те, що модель засвоює самостійно. Наприклад, 1) Ваги або коефіцієнти незалежних змінних в лінійній регресійній моделі. 2) Ваги або коефіцієнти незалежних змінних SVM. 3) Розбийте точки на дереві рішень.

Для оптимізації продуктивності моделі використовуються гіперпараметри моделі. Наприклад, 1) Ядро і млявість у SVM. 2) Значення K у КНН. 3) Глибина дерева в деревах рішень.

Параметри моделі оцінюються з даних автоматично, а гіперпараметри моделі встановлюються вручну і використовуються в процесах, щоб допомогти оцінити параметри моделі.

Модельні гіперпараметри часто називають параметрами, оскільки вони є частинами машинного навчання, які повинні бути встановлені вручну та налаштовані.

В основному, параметри - це ті, які "модель" використовує для прогнозування тощо. Наприклад, вагові коефіцієнти в лінійній регресійній моделі. Гіперпараметри - це ті, що допомагають у процесі навчання. Наприклад, кількість кластерів у K-Means, коефіцієнт усадки в Ridge Regression. Вони не з’являться у фінальній частині прогнозування, але вони мають великий вплив на те, як виглядатимуть параметри після кроку навчання.

Посилання: https://machinelearningmastery.com/difference-between-a-parameter-and-a-hyperparameter/