Використання теорії інформації у прикладній науці даних

Сьогодні я наткнувся на книгу Джеймса Стоуна "Теорія інформації: вступ до навчального посібника" і на хвилину-другу подумав про ступінь використання теорії інформації у прикладній науці даних (якщо вам не до вподоби цей ще дещо нечіткий термін, Подумайте аналіз даних , який є науковим даними ІМХО - це прославлена версія). Я добре обізнаний про значне використанні теорії інформації -На підходи , методи і заходи , в зокрема ентропії , під капотом різних статистичних методів і методів аналізу даних.

Однак мені цікаво ступінь / рівень знань, необхідний прикладному соціологу для успішного вибору та застосування цих понять, заходів та інструментів, не занурюючись занадто глибоко в математичні витоки теорії. Я з нетерпінням чекаю ваших відповідей, які можуть вирішити мою стурбованість у контексті вищезгаданої книги (або інших подібних книг - не соромтесь рекомендувати) або загалом.

Я також вдячний деяким рекомендаціям щодо друкованих чи онлайн-джерел, які обговорюють теорію інформації та її концепції, підходи, методи та заходи в контексті ( порівняно з) інших (більше) традиційних статистичних підходів ( частотістський та байєсівський ).

information-theory

— Олександр Блех
джерело

Мабуть, один із найвідоміших і «застосованих» випадків використання ентропії має місце при складанні дерева. Однією з можливостей розбиття алгоритму є прийняття метрики посилення інформації, яка полягає в різниці між ентропією між верхнім і нижчим рівнем. Ви маєте більше інформації тут en.wikipedia.org/wiki/Information_gain_in_decision_trees

— D.Castro

@ D.Castro: Дякую за ваш коментар - я знаю про цей випадок (і навіть розмістив відповідь на цю точну тему або тут, на Cross Valified, або на сайті Data Science SE). Я сподіваюся на всебічне висвітлення / обговорення теми.

— Олександр Блех

Для мене, і здебільшого, це питання дисципліни чи галузі, в якій навчається, а також географічного континенту. На мій погляд, фізики, математики та практики чистого машинного навчання набагато частіше піддаються поглибленому впливу теорії інформації, ніж, скажімо, статистики, економісти чи кількісні фінансові аналітики. Крім того, я б подвоїв це для людей, які пройшли навчання в Європі, тобто європейці набагато частіше знають ІТ. Однак поява моделей статистичного навчання змінюється, ніж для науковців у Штатах.

— Майк Хантер

@DJohnson Хвилинка хвилинних очок, але у Британії та, можливо, в інших місцях IT == інформаційні технології. Інакше ваші враження нагадують мої.

— Нік Кокс

@NickCox Спасибі, ваша думка стосується і штатів. Це був тривалий коментар, і, дозволяючи простір, я б прописав слова або, ще краще, ввів значення абревіатури в більш ранній момент.

— Майк Хантер

Тож перша частина запитання: чи потрібно вченим, щоб знати теорію інформації ? Я вважав, що відповідь - це зовсім недавно. Причина, що я передумав, - це одна важлива складова: шум.

Багато моделей машинного навчання (як стохастичні, так і ні) використовують шум як частину процесу кодування та перетворення, і в багатьох з цих моделей потрібно зробити висновок про ймовірність впливу на шум після декодування трансформованого виходу моделі. Я думаю, що це основна частина теорії інформації. Мало того, що при глибокому навчанні дивергенція KL є дуже важливим застосовуваним заходом, який також походить з інформаційної теорії.

Друга частина запитання: Я вважаю, що найкращим джерелом є алгоритми інформаційної теорії, висновку та навчання Девіда Маккея . Він починає з теорії інформації і бере ці ідеї як у умовиводи, так і навіть в нейронні мережі. Pdf безкоштовно на веб-сайті Дейва, а лекції в Інтернеті - це чудово

— Амбоді
джерело

Це відмінна книга. Усі бажаючі також повинні заглянути в en.wikipedia.org/wiki/David_J._C._MacKay

— Нік Кокс

Дякуємо за Вашу відповідь (+1 та потенційну згоду, якщо швидше не з’явиться більш вичерпних відповідей). Особлива вдячність за посилання. Я здивований, що ти наткнувся на це майже забуте, але важливе, моє питання. :-)

— Олександр Блех

Так, це цікаво. Ніколи не слід відмовлятися від питання. Прийшов до мене після того, як я відвідував NIPS2016, і я побачив усі ці розмови про розбіжність KL та вплив шуму на кодери.

— Амбоді