Запитання з тегом «information-theory»

Чи може взаємна інформація про спільну ентропію: 0 ≤ I( X, Y)Н( X, Y)≤ 10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 визначати як: "Ймовірність передачі частини інформації від X до Y"? Мені шкода, що я був таким наївним, але я ніколи не вивчав теорію інформації, і намагаюся просто зрозуміти деякі поняття …

11 information-theory  mutual-information 

У мене дуже базові сумніви. Вибачте, якщо це мало кого дратує. Я знаю, що значення Взаємної Інформації повинно бути більше 0, але чи повинно бути менше 1? Чи обмежує це якесь верхнє значення? Спасибі, Аміт.

11 information-theory  mutual-information 

Найпростішою формою інформаційно-теоретичного CLT є наступна: Нехай Х1, X2, …Х1,Х2,…X_1, X_2,\dots є iid із середнім значенням 000 та дисперсією . Нехай - щільність нормованої суми а - стандартна щільність Гаусса. Тоді інформаційно-теоретичний CLT стверджує, що якщо кінцевий для деякого n , то D (f_n \ | \ phi) \ до …

11 mathematical-statistics  information-theory  central-limit-theorem 

Я написав програму для імітації перемикання накладних карт. Кожна карта пронумерована, з костюмом, що йде від CLUBS, DIAMONDS, HEARTS, SPADESта до двох до десяти, потім Джек, Королева, Кінг та Ейс. Таким чином, два клуби мають число 1, три клуби - 2 .... туз клубів - 13 ... туз піки - …

11 correlation  pearson-r  information-theory 

Яка хороша метрика для оцінки якості аналізу основних компонентів (PCA)? Я виконував цей алгоритм на наборі даних. Моєю метою було зменшити кількість функцій (інформація була дуже зайвою). Я знаю, відсоток збереженої дисперсії є хорошим показником того, скільки інформації ми зберігаємо, чи є інші інформаційні метрики, якими я можу скористатися, щоб …

10 machine-learning  pca  data-mining  information-theory 

Як говорить заголовок, чи зменшення розмірності завжди втрачає деяку інформацію? Розглянемо для прикладу PCA. Якщо дані, які я маю, дуже рідкісні, я б припустив, що «краще кодування» вдасться знайти (це якимось чином пов'язане з рангом даних?), І нічого не буде втрачено.

10 pca  information-theory  information 

Я трохи розгублений. Чи може хтось пояснити мені, як обчислити взаємну інформацію між двома термінами на основі матриці термінового документа з двояковим виникненням терміна як ваг? Document1Document2Document3′Why′111′How′101′When′111′Where′100′Why′′How′′When′′Where′Document11111Document21010Document31110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & 1 …

10 python  information-theory  mutual-information  numpy  pandas 

Я намагаюся застосувати ідею взаємної інформації до вибору функцій, як описано в цих конспектах лекцій (на сторінці 5). Моя платформа - Matlab. Одна з проблем, які я виявляю при обчисленні взаємної інформації з емпіричних даних, полягає в тому, що число завжди зміщується вгору. Я знайшов близько 3 ~ 4 різних …

10 matlab  feature-selection  information-theory  mutual-information 

У своєму дослідженні я зіткнувся з такою загальною проблемою: у мене є два розподіли і по одному домену і велика (але кінцева) кількість вибірок з цих розподілів. Зразки незалежно та однаково розподіляються з одного з цих двох розподілів (хоча розподіли можуть бути пов’язані між собою: наприклад, може бути сумішшю та …

10 hypothesis-testing  mathematical-statistics  kullback-leibler  information-theory  bounds 

У статті під назвою " Глибоке навчання та принцип інформації " автори вказують у розділі II А) наступне: Одиничні нейрони класифікують лише лінійно відокремлювані входи, оскільки вони можуть реалізовувати лише гіперплани у своєму вхідному просторі . Гіперплани можуть оптимально класифікувати дані, коли входи є умовнонезалежними.u = w h + bу=шгод+бu …

10 bayesian  neural-networks  information-theory 

Або які умови це гарантують? Взагалі (і не тільки нормальні та біноміальні моделі) я вважаю, що головна причина, яка порушила цю заяву, полягає в тому, що між моделлю вибірки та попередньою є невідповідність, але що ще? Я починаю з цієї теми, тому дуже ціную легкі приклади

10 bayesian  variance  information-theory 

Я хочу оцінити співвідношення між двома змінними, A і B, використовуючи взаємну інформацію. Спосіб її обчислення - це бінінг спостережень (див. Приклад Python-коду нижче). Однак які фактори визначають, яка кількість бункерів є розумною? Мені потрібно, щоб обчислення були швидкими, тому я не можу просто використовувати багато бункерів, щоб бути на …

10 information-theory  mutual-information  binning 

Моє запитання стосується взаємозв'язку між гіпотезою ефективного кодування, яка викладена на сторінці Вікіпедії щодо ефективних алгоритмів навчання кодування та нейронної мережі. Який взаємозв'язок між гіпотезою ефективного кодування та нейронними мережами? Чи існують моделі нейронної мережі, явно натхненні гіпотезою ефективного кодування? Або було б справедливіше сказати, що всі алгоритми навчання нейронної …

9 neural-networks  information-theory 

Сьогодні я наткнувся на книгу Джеймса Стоуна "Теорія інформації: вступ до навчального посібника" і на хвилину-другу подумав про ступінь використання теорії інформації у прикладній науці даних (якщо вам не до вподоби цей ще дещо нечіткий термін, Подумайте аналіз даних , який є науковим даними ІМХО - це прославлена ​​версія). Я …

9 information-theory 

Я намагаюся зрозуміти нормалізовану форму точкової взаємної інформації. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Чому ймовірність спільного журналу нормалізує точкову взаємну інформацію між [-1, 1]? Точна взаємна інформація: pmi=log(p(x,y)p(x)p(y))pmi=log(p(x,y)p(x)p(y))pmi = log(\frac{p(x,y)}{p(x)p(y)}) p (x, y) обмежений [0, 1], тому журнал (p (x, y)) обмежений (, 0]. Схоже, що журнал (p (x, y)) повинен якось …

9 entropy  information-theory  mutual-information