Посилання на числову оптимізацію для статистиків

Я шукаю грунтовну довідку (або посилання) на методики чисельної оптимізації, спрямовані на статистиків, тобто вона застосовуватиме ці методи до деяких стандартних інфекційних проблем (наприклад, MAP / MLE у звичайних моделях). Такі речі, як градієнтний спуск (прямий і стохастичний), ЕМ та його витоки / узагальнення, імітований відпал тощо.

Я сподіваюся, що це буде мати деякі практичні зауваження щодо впровадження (так часто не вистачає в документах). Це не повинно бути повністю явним, але має принаймні містити ґрунтовну бібліографію.

Деякі побіжні пошуки знайшли пару текстів: Числовий аналіз для статистиків Кен Ланге та Числові методи статистики Джона Монахана. Відгуки про кожен здаються неоднозначними (і рідкими). З цих двох ознайомлень із змістом випливає, що друге видання книги Ланге є найближчим до того, про що я пішов.

Обчислювальна статистика Джеймса Джентлі (2009).

Матрична алгебра Джеймса Джентлі: теорія, обчислення та застосування в статистиці (2007 р.) , Тим більше до кінця книги, початок теж великий, але це не зовсім те, що ви шукаєте.

Розпізнавання зразка Крістофера М. Бішопа (2006).

Хасті та ін. Елементи статистичного навчання: видобуток даних, умовиводи та прогнозування (2009).

Ви шукаєте щось настільки низького рівня, як текст, який відповість на таке запитання, як: "Чому ефективніше зберігати матриці та масиви більш високих розмірів як 1-D масив, і як я можу їх індексувати у звичайному M (0, 1, 3, ...) шлях? " або щось на кшталт "Які деякі поширені методи, які використовуються для оптимізації стандартних алгоритмів, таких як спуск градієнта, ЕМ тощо"?

Більшість текстів з машинного навчання забезпечать поглиблене обговорення теми, яку ви шукаєте.

Книга Nocedal і Wrights

http://users.eecs.northwestern.edu/~nocedal/book/

є хорошим орієнтиром для оптимізації в цілому, і багато речей у їхній книзі цікавлять статистиків. Також є ціла глава про нелінійні найменші квадрати.

Оптимізація , Кеннет Ланге (Springer, 2004), рецензував у JASA Рассел Стіл. Це хороший підручник з матричною алгеброю Джентлера для вступного курсу з матричного обчислення та оптимізації, як той, який написав Ян де Лев (курси / 202B).

Як доповнення до них, ви можете знайти Magnus, JR та H. Neudecker (2007). Матричне обчислення з додатками в статистиці та економетрії, 3-е видання корисне, хоча і важке. Він розробляє повну обробку нескінченно малих операцій з матрицями, а потім застосовує їх до ряду типових статистичних завдань, таких як оптимізація, MLE та нелінійні найменші квадрати. Якщо в кінці дня ви в кінцевому підсумку з’ясуєте відсталість ваших алгоритмів матриці, добре зрозуміти матричне обчислення буде незамінним. Я особисто використовував інструменти матричного обчислення для отримання асимптотичних результатів у просторовій статистиці та багатоваріантних параметричних моделях.