Ресурс / книга для останніх досягнень теорії статистичного навчання


10

Я досить знайомий з теорією VC-Dimension, але зараз я дивлюся на останні (останні 10 років) досягнення в галузі теорії статистичного навчання: (місцеві) середні показники Rademacher, лема кінцевого класу Массарта, покриття чисел, ланцюжок, Дадлі Теорема, псевдомірність, розмір руйнування жирів, номери упаковки, склад радімахера та, можливо, інші результати / інструменти, про які я не знаю.

Чи є веб-сайт, опитування, збірка статей чи, найкраще, книга, що висвітлює ці теми?

Крім того, я дивлюсь на приклади, як пов'язати середнє значення Rademacher для простих класів, таким же чином, як люди використовують прямокутники, розташовані по осі, щоб показати, як пов'язати розмір VC.

Заздалегідь спасибі.

Відповіді:


7

Я вірю, що вам сподобається Теорія класифікації: опитування останніх досягненьБушерон, Буске та Лугосі. Зокрема, вона починається з побудови базової теорії узагальнення через складності Rademacher, вводить деякі корисні інструменти (як, наприклад, принцип стиснення, чиї докази ви можете простежити в примітках Шая і Шая, на які посилається у відповіді Ашвінкумар, але (я вважаю?) Бере початок у книга ймовірностей компанії Ledoux & Talagrand, яка не є безкоштовною, і застосовує їх до стандартних методів класифікації (розширення та підтримка векторних машин обговорюються, як через їх популярності, так і оскільки вони проходять навчання через ERM). Цей текст датується 2005 роком, тому він також містить деякі інші дещо пізніші теми, про які ви згадали, наприклад, місцеві складності Rademacher, і є навіть крихітна штепсельна вилка. Нарешті, хоча рукопис досить короткий,

Деякі інші теми, про які ви згадуєте, досить старі, щоб бути у "Імовірнісній теорії розпізнавання візерунків" Девроє, Дьорфі та Лугосі (зокрема, це більше для упаковки, ніж будь-який інший текст, який я знаю). Хоча не вистачає деяких нових тем, про які ви згадуєте, це стандартна книга, яку всі, кого я зустрів у навчанні теорії, перенесли на свої полки. Можливо, спробуйте знайти зміст і покажчик книги та прокрутити її.

Деякі інші теми, про які ви згадуєте, я не бачив грунтовно розглянутої книги, але вони з'явилися в ряді конспектів курсу. Наприклад, якщо ви перейдете на сторінку Шама Какаде в UPenn , ви знайдете посилання на два курси теорії навчання (один був на TTI-C, з Ambuj Tewari), і ви побачите, що посилання на теми відповідають деяким з обговорених вами речей. , і не з'явилися ні в моїх відповідях, ні в інших місцях. У різних школах є багато хороших курсів; Avrim Blum має чудові, надзвичайно читабельні нотатки для свого курсу теорії навчання (його аналіз winnow - найкоротший, найчистіший та найінтуїтивніший, який я коли-небудь бачив!).

Деякі з них, можливо, трохи надто нові, і вам доведеться перейти до вихідного матеріалу. Але якщо ви справді просто намагаєтесь взяти мішок з захопленням, я думаю, що опитування вгорі і лекції на пару занять з теорії навчання прослужать вам довгий шлях.

Крім того, вам здається, що ви шукаєте вдосконалені тексти, але я також хотів би підключити два вступні тексти, які людям дуже подобаються. Перший - це "вступ до теорії обчислювального навчання", Кірнс і (У.) Вазірані, який, хоча старий (наприклад, стимулювання представлений тільки за допомогою оригінальної конструкції Роберта Шапіра, і акцент робиться саме на PAC, а не на агностичному навчанні), представлений добре і має добру інтуїцію. Особисто я отримав основи « Введення в теорію статистичного навчання» тими самими авторами, що й вищезгадане опитування (але фігурує в порядку Бюске, Бушерона, Лугосі?); Це приємне викладення і вперше теорія узагальнення насправді почала натискати на мене.


5

Це був нещодавно викладений курс. http://www.cs.huji.ac.il/~shais/Handouts.pdf . Я ретельно не читав це, але в главі 7 є матеріал про складності Rademacher. Сподіваюся, це допомагає.


Дякую @Ashwinkumar. Мені подобається те, що деякі з цих записок - з книги, яка зараз пишеться.
Маттео

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.