Назвіть декілька найважливіших “ранніх статей” про методи регуляризації?

У кількох відповідях я бачив, що користувачі CrossValided пропонують ОП знайти перші документи про Lasso, Ridge та Elastic Net.

Що стосується нащадків, які семінарні роботи про Лассо, Рідж та Еластичну Мережу?

Оскільки ви просто шукаєте посилання, ось список:

1. Тихонов, Андрій Миколайович (1943). "Про стійкість зворотних задач" [Про стійкість зворотних задач]. Доклади Академії Наук СРСР. 39 (5): 195–198.
2. Тихонов, А.Н. (1963). "Про вирішення некоректно поставлених задач і методів регуляризації". Доклади Академії Наук СРСР. 151: 501–504 .. Перекладено у «Рішення неправильно сформульованих задач та метод регуляризації». Радянська математика. 4: 1035–1038.
3. Hoerl AE, 1962, Застосування гребінного аналізу до проблем регресії, Хімічна інженерія, 1958, 54–59.
4. Артур Е. Герл; Роберт В. Кеннард (1970). "Регресія хребта: Об'єктивна оцінка неортогональних проблем". Технометрика. 12 (1): 55–67. doi: 10.2307 / 1267351. https://pdfs.semanticscholar.org/910e/d31ef5532dcbcf0bd01a980b1f79b9086fca.pdf
5. Тібшірані, Роберт (1996). "Усадка і вибір регресії через Лассо" (PostScript). Журнал Королівського статистичного товариства, серія B. 58 (1): 267–288. MR 1379242 https://statweb.stanford.edu/~tibs/lasso/lasso.pdf
6. Зу, Х. та Хасті, Т. (2005). Регулялізація та змінний вибір через еластичну сітку. Журнал Королівського статистичного товариства, серія B. 67: С. 301–320. https://web.stanford.edu/~hastie/Papers/B67.2%20%282005%29%20301-320%20Zou%20&%20Hastie.pdf

Історично важливий документ, який, на мою думку, вперше показав, що зміщення оцінок може призвести до покращення оцінок для звичайних лінійних моделей:

• Штейн, С., 1956, січень. Неприпустимість звичайного оцінювача для середнього багатовимірного нормального розподілу. У працях Третього симпозіуму Берклі з математичної статистики та ймовірності (т. 1, № 399, с. 197-206).

Ще кілька сучасних і важливих покарань включають SCAD та MCP:

• Fan, J. and Li, R., 2001. Варіабельна селекція через невігнуту пеніалізовану ймовірність та її оракул властивості. Журнал Американської статистичної асоціації, 96 (456), арк.1348-1360.
• Чжан, CH, 2010 р. Вибір майже неупередженої змінної під увігнутим покаранням мінімакс. Аннали статистики, 38 (2), стор.894-942.

І ще кілька про дуже хороші алгоритми отримання оцінок за допомогою цих методів:

• Breheny, P. and Huang, J., 2011. Координуйте алгоритми спуску для невипуклої пеналізованої регресії із застосуванням для вибору біологічних особливостей. Літописи прикладної статистики, 5 (1), с.232.
• Mazumder, R., Friedman, JH and Hastie, T., 2011. Sparsenet: Координатний спуск з невипуклими штрафами. Журнал Американської статистичної асоціації, 106 (495), арк.1125-1138.

Також варто розглянути цей документ про селектор Данціга, який дуже тісно пов'язаний з LASSO, але (я вважаю) він вводить ідею нерівності оракул для статистичних оцінок, які є досить потужною ідеєю

• Candes, E. and Tao, T., 2007. Селектор Данцига: Статистична оцінка, коли р набагато більший за n. Аннали статистики, с.2313-2351.