Походження терміна "регуляризація"

Коли я ввожу поняття своїм учням, мені часто цікаво розповісти їм, звідки береться термінологія ("регресія", наприклад, термін із цікавим походженням). Мені не вдалося розкрити історію / передумови терміна "регуляризація" в статистичному / машинному навчанні.

Отже, яке походження терміна регуляризація ?

Подібно до внеску Метью Ганна , це теж насправді не відповідь, а більше правдоподібний кандидат.

Я також вперше почув про термін "регуляризація" в контексті регуляризації Тихонова , і зокрема в контексті (лінійних) обернених проблем геофізики. Цікаво, що, хоча я думав, що це, мабуть, пов’язано зі сферою мого дослідження (тобто дивіться моє ім’я користувача), очевидно, Тихонов насправді багато працював у цій галузі!

Моя думка, що сучасний підхід до «регуляризації», ймовірно , походить із роботи Тихонова. Спираючись на цю міркування, мій внесок тут має дві частини.

Перша частина має (крісло-) історичний характер (заснована на перевірці заголовків паперу та моїх попередніх упереджень!). Хоча рішення паперу 1963 р . Неправильно сформульованих проблем та метод регуляризації є першим використанням терміна "регуляризація", я не був би занадто впевнений, що це правда. Це посилання в Вікіпедії цитується як

Тихонов, А.Н. (1963). "Про вирішення некоректно поставлених задач і методів регуляризації". Доклади Академії Наук СРСР. 151: 501–504. Перекладено у «Рішення неправильно сформульованих задач та метод регуляризації». Радянська математика. 4: 1035–1038.

створюючи враження, що сам Тихонов написав принаймні частину цього твору російською мовою спочатку, тому словосполучення "регуляризація" могло бути придумане пізнішим перекладачем. [ОНОВЛЕННЯ: Ні, "регуляризація" = регуляризація , див. Коментар Кагдаса Озгенка.] Більше того, ця робота, як видається, є частиною безперервної лінії досліджень, проведеної Тихоновим протягом значно більшого часу . Наприклад, папір

Тихонов, Андрій Миколайович (1943). "Про стійкість зворотних задач" [Про стійкість зворотних задач]. Доклади Академії Наук СРСР. 39 (5): 195–198.

показує, що він займався тією ж загальною темою щонайменше за 20 років до цього. Однак ця часова шкала свідчить про те, що, ймовірно, робота із зворотною проблемою почалася набагато ближче до 1963 року, ніж до 1943 року.

[ ОНОВЛЕННЯ: Цей переклад статті 1943 р. Показує, що термінологія для " регулярності " тут використовується для позначення "стійкості зворотної задачі (або безперервності зворотного відображення)" .]

Друга частина мого внеску - це гіпотеза про те, як «регуляризація», можливо, спочатку передбачалася в цьому контексті. Досить часто "регулярний" використовується як синонім "гладкого", зокрема при описі кривої та / або геометрії поверхні. У більшості застосувань для геофізики бажаним рішенням є деяка сітка оцінка просторово розподіленого поля , а регуляризація Тихонова використовується для наведення гладкості до цього.

(Матриця Тихонова, як правило, являє собою дискретний просторовий похідний похідний оператор , схожий на матриці PDE, порівняно з матрицею ідентичності регресії хребта. Це тому, що для цих сіток / прямих моделей нульовий простір матриці прямої моделі має тенденцію включати такі речі, як "режими контрольної дошки", які забруднюють результати, якщо не будуть санкціоновані; подібне до цього ).

Оновлення: Ці питання проілюстровані у моїй відповіді тут .

Підсумок

1. Я також голосував за Тихонова як ініціатора (ймовірно, близько 1963 року)
2. Початкові програми, можливо, були оберненими геофізичним моделюванням, тому термін "регуляризація" може стосуватися того, щоб зробити отримані карти * більш гладкими, тобто "регулярними".

(* Виходячи з оновленої цитати з документа про 1943 р., Це словосполучення видається істинним ... але з неправильної причини! Відповідна "карта" не була між сіткою та полем, , але зворотне відображення з прямої моделі .)$u[x]=F[\theta]$$\theta=F^{-1}[u]$

Це часткова відповідь, часткова коментар. Неповний список кандидатів:

1. Тихонов, Андрій. "Рішення неправильно сформульованих задач та метод регуляризації." Радянська математика. Докл .. Вип. 5. 1963. Тихонов відомий регуляризацією Тихонова (також відомою як регресія хребта).

2. Існує концепція регуляризації у фізиці, яка приходить щонайменше до 40-х років, але я не бачу зв'язку з регуляризацією Тихонова? (Я не фізик, хоча.)

3. Інженерні тексти говорять про регуляризацію річки (для поліпшення судноплавства), що йде щонайменше до 1880-х років.

Шукаючи http://books.google.com , я не бачу широкого вживання терміна "регуляризація" до 1970-х років, коли він починає з'являтися знову і знову і знову в контексті книг з математики та фізики.

Найпростіше, термін пережив природну еволюцію наукових термінів, оскільки він фіксує основну мету методики: від купки рішень до неправомірної проблеми, він обирає рішення, які є регулярними , тобто

за правилом

(Вільне володіння словник визначення )

Це також використовується в загальній мові для проектування гладкої поверхні, наприклад, в столярній справі. Аналогічно, рішення проблеми регресії будуть виглядати більш регулярно, якщо правило полягає в мінімізації сумарної зміни (ТВ) негладких бітів реконструйованого сигналу (як, наприклад, вимірюється загальною енергією градієнта).

$\ell_0$