Статистика машинного навчання, документи для початку?


10

У мене є досвід в галузі комп’ютерного програмування та теорії елементарних чисел, але немає реального навчання статистиці, і нещодавно "виявив", що дивовижний світ цілого спектру методів - це насправді статистичний світ. Здається, що матричні факторизації, заповнення матриці, високі розмірні тензори, вбудовування, оцінка щільності, байесівські умовиводи, розділи Маркова, обчислення власного вектора, PageRank - все це високостатистичні методи, і що алгоритми машинного навчання, які використовують такі речі, використовують багато статистики .

Моя мета - вміти читати статті, які обговорюють подібні речі, та впроваджувати або створювати алгоритми, розуміючи при цьому позначення, "докази" та використовувані статистичні аргументи. Я думаю, що найважче - дотримуватися всіх доказів, які стосуються матриць.

Які основні документи можуть мене почати? Або хороший підручник з вправами, над якими варто опрацювати?

Зокрема, я хотів би повністю зрозуміти деякі документи:

  1. Точне завершення матриці за допомогою опуклої оптимізації, Candes, Recht, 2008
  2. Швидка трансформація Коші та швидша міцна лінійна регресія, Clarkson et al, 2013
  3. Випадкові прогнози для супровідних векторних машин, Paul et al, 2013
  4. Високомірна оцінка ймовірності з моделями глибокої щільності, Ріппель, Адамс, 2013
  5. Отримання оцінок з мінімізацією помилок та універсальних меж помилок при вступі для заповнення матриці низького рангу, Кіралі, Теран, 2013

1
Ви вже знайомі з матрицями, наприклад, через застосований курс лінійної алгебри, чи це частина того, що ви прагнете вивчити? Я б сказав, що перша половина списку, який ви подали, - це важливіші в статистиці теми, а не високостатистична техніка (що мене вражає як просування в зворотному напрямку). Тут є кілька питань щодо рекомендованих книг для вивчення статистичного машинного навчання. Я б запропонував вам навести приклад або два конкретні документи, які ви зіткнулися, які ви хочете зрозуміти; це допоможе краще зосередити отримані відповіді.
кардинал

2
Так, знайомий з матрицями, через лінійну алгебру та з поняттями векторного простору, основи, норм, але я не повністю розумію такі речі, як LU-факторизація, хоча я досить чітко розумію ортогоналізацію Грам-Шмідта та неоптимізований алгоритм QR, хоча не зовсім зрозуміло, чому вони працюють. Крім того, я не розумію, як люди можуть вивести власні вектори для випадкової матриці, не виконуючи на ній алгоритм власного вектора.
Cris Stringfellow

Відповіді:


2

Я б порекомендував Ендрю Нгса курс машинного навчання на Coursera, він чудово висвітлює всі основи. Якщо ви вивчаєте що-небудь спільне з імовірнісними графічними моделями, курс Дафни Коллерс було б добре поглянути також.

Це скарбниця ресурсів для самостійного вивчення http://ragle.sanukcode.net/articles/machine-learning-self-study-resources/ Лекції Герба Гроссмана є приголомшливими.

Мені також рекомендували цю книгу https://www.openintro.org/stat/textbook.php, оскільки я завжди все ще навчаюсь себе, а статистика - це не мій досвід!

Мої два центи переглядають математичну сторону речей і паперів, хоча це не надто наздоганяється на тлі математики. Вивчіть основи та посилайтесь на документи, на яких створені ті згадані вами папери, і подивіться, чи легше (можливо, вам доведеться повернути кілька паперів, щоб отримати щось, що ви можете зрозуміти - це те, що я роблю сам) є багато різні елементи математики в ML, і легко засмоктувати кролячу нору (знову щось, що я робив сам не раз!).

Пощастило, це дійсно цікаве поле!

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.