Що в назві: гіперпараметри

Отже, у нормальному розподілі маємо два параметри: середнє та дисперсію σ 2 . У книзі Розпізнавання візерунків та машинне навчання несподівано з’являється гіперпараметр λ в умовах регуляризації функції помилок.$\mu$$\sigma^2$$\lambda$

Що таке гіперпараметри? Чому їх називають такими? І чим вони інтуїтивно відрізняються від параметрів загалом?

Термін гіперпараметр досить розпливчастий. Я буду використовувати його для позначення параметра, який знаходиться на більш високому рівні ієрархії, ніж інші параметри. Для прикладу розглянемо регресійну модель з відомою дисперсією (1 у цьому випадку)

а потім пріоритет за параметрами, наприклад

Тут визначає розподіл β, а β визначає розподіл для y . Коли я хочу просто посилатися на β, я можу назвати його параметром, а коли я хочу просто посилатися на λ , я можу називати його гіперпараметром.$\lambda$$\beta$$\beta$$y$$\beta$$\lambda$

Іменування ускладнюється, коли параметри відображаються на кількох рівнях або коли є більше ієрархічних рівнів (і ви не хочете використовувати термін гіпергіперпараметри). Найкраще, якщо автор уточнить, що саме мається на увазі, коли вони використовують термін гіперпараметр або параметр для цього питання.

Гіперпараметр - це просто параметр, який повністю чи частково впливає на інші параметри. Вони не вирішують безпосередньо оптимізаційну проблему, з якою ви стикаєтесь, а скоріше оптимізуєте параметри, які можуть вирішити проблему (отже, гіпер , тому що вони не є частиною оптимізаційної задачі, а швидше є "аддонами"). Щодо того, що я бачив, але я не маю посилання, це відношення є односпрямованим (на гіперпараметр не можуть впливати параметри, на які він впливає, отже, і гіпер ). Зазвичай вони вводяться в схемах регуляризації або метаоптимізації.

Наприклад, ваш параметр може вільно впливати на μ і σ, щоб регулювати вартість регуляризації (але μ і σ не впливають на λ ). Таким чином, λ - гіперпараметр для μ і σ . Якби у вас був додатковий параметр τ, що впливає на λ , це був би гіперпараметр для λ і гіпергіперпараметр для μ і σ (але я ніколи не бачив цієї номенклатури, але я не відчував би, що було б неправильно, якби бачив її) .$\lambda$$\mu$$\sigma$$\mu$$\sigma$$\lambda$$\lambda$$\mu$$\sigma$$\tau$$\lambda$$\lambda$$\mu$$\sigma$

Я вважав, що концепція гіперпараметра є дуже корисною для перехресної перевірки, оскільки вона нагадує вам про ієрархію параметрів, а також нагадує, що якщо ви все ще змінюєте (гіпер-) параметри, ви все ще перехрещуєтесь і не узагальнюєте, тому вам потрібно залишайтеся уважними щодо своїх висновків (щоб уникнути кругообігу).

Інші пояснення трохи розпливчасті; ось конкретніше пояснення, яке повинно його прояснити.

Гіперпараметри є параметрами моделі тільки , НЕ фізичного процесу , який моделюється. Ви вводите їх "штучно", щоб ваша модель "працювала" за наявності кінцевих даних та / або обмеженого часу обчислення . Якби у вас була нескінченна сила вимірювати чи обчислювати що-небудь, гіперпараметри більше не існували б у вашій моделі, оскільки вони не описували б жодного фізичного аспекту фактичної системи.

З іншого боку, регулярні параметри - це ті, що описують фізичну систему, і не просто моделюють артефакти.

Це не точно визначений термін, тому я продовжую і дам вам ще одне визначення, яке, здається, відповідає загальному використанню.

Гіперпараметр - це величина, оцінена в алгоритмі машинного навчання, яка не бере участі у функціональній формі остаточної функції прогнозування.

Let me unwind that with an example, ridge regression. In ridge regression we solve the following optimization problem:

In the first problem $X, y$ is the training data, and in the second $X', y'$ is a hold out data set. The final functional form of the model, which I called above the predictive function is

in which $\lambda$ does not appear. This makes $\beta$ a parameter vector, and $\lambda$ a hyper parameter.

As precisely pointed out by @jaradniemi, one use of the term hyperparameter comes from hierarchical or multilevel modeling, where you have a cascade of statistical models, one built over/under the others, using usually conditional probability statements.

But the same terminology arises in other contexts with different meanings as well. For instance, I have seen the term hyperparameter been used to refer to the parameters of the simulation (running length, number of independent replications, number of interacting particles in each replication etc.) of a stochastic model, which did not result from a multilevel modeling.