Запитання з тегом «mutual-information»

Чому і коли ми повинні використовувати Взаємну інформацію для вимірювання статистичних кореляцій, таких як "Пірсон", "Сперман" або "Тау Кендалла"?

51 correlation  mathematical-statistics  mutual-information 

Зовсім недавно я прочитав дві статті. Перший - про історію кореляції, а другий - про новий метод під назвою Максимальний інформаційний коефіцієнт (MIC). Мені потрібна ваша допомога щодо розуміння методу MIC для оцінки нелінійних кореляцій між змінними. Більше того, Інструкції щодо використання в R можна знайти на веб-сайті автора (у …

20 correlation  nonparametric  bioinformatics  information-theory  mutual-information 

Припустимо, у мене є два множини XXX і і спільний розподіл ймовірностей над цими множинами . Нехай і позначають граничні розподіли по і відповідно.YYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Взаємна інформація між і визначається як: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) тобто це середнє значення точкової взаємної інформації pmi .(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log⁡(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) Припустимо, я знаю верхню та …

18 entropy  mutual-information  information-theory 

Перестановочні тести (також називаються тестом рандомизації, тестом на повторну рандомізацію або точним тестом) дуже корисні і корисні, коли припущення про нормальний розподіл, необхідне, наприклад, t-testне виконується, і при перетворенні значень за ранжуванням непараметричний тест, як-от Mann-Whitney-U-test, призведе до втрати більше інформації. Однак одне і єдине припущення не слід оминути увагою …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

моє питання особливо стосується реконструкції мережі

15 correlation  mutual-information 

Я працював із взаємною інформацією деякий час. Але я знайшов зовсім недавній захід у «світі кореляції», який також можна використовувати для вимірювання незалежності розподілу, так звану «кореляцію відстані» (також названу броунівською кореляцією): http://en.wikipedia.org/wiki/Brownian_covariance . Я перевірив папери, де вводиться цей захід, але не знайшовши ніякої алюзії на взаємну інформацію. Отже, …

15 correlation  mutual-information  distance-covariance 

Дивлячись на власні вектори матриці коваріації, ми отримуємо напрями максимальної дисперсії (перший власний вектор - це напрямок, у якому дані найбільше змінюються тощо); це називається основним компонентним аналізом (PCA). Мені було цікаво, що значить би дивитись на власні вектори / значення матриці взаємної інформації, чи вказували б вони у напрямку …

14 pca  entropy  mutual-information  eigenvalues 

Що стосується заголовку, ідея полягає у використанні взаємної інформації тут і після MI для оцінки "кореляції" (визначеної як "скільки я знаю про A, коли я знаю B") між суцільною змінною та категоріальною змінною. Я розкажу вам свої міркування з цього питання за мить, але перед тим, як порадити вам прочитати …

13 correlation  information-theory  mutual-information 

Чи може взаємна інформація про спільну ентропію: 0 ≤ I( X, Y)Н( X, Y)≤ 10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 визначати як: "Ймовірність передачі частини інформації від X до Y"? Мені шкода, що я був таким наївним, але я ніколи не вивчав теорію інформації, і намагаюся просто зрозуміти деякі поняття …

11 information-theory  mutual-information 

У мене дуже базові сумніви. Вибачте, якщо це мало кого дратує. Я знаю, що значення Взаємної Інформації повинно бути більше 0, але чи повинно бути менше 1? Чи обмежує це якесь верхнє значення? Спасибі, Аміт.

11 information-theory  mutual-information 

Один з способів генерації вкладення слів є наступними ( дзеркало ): Отримайте корпорацію, наприклад, "Мені подобається літати. Мені подобається NLP. Мені подобається глибоке навчання". Побудуйте з нього матрицю потоку слова: Виконайте SVD на та збережіть перші стовпці U.XXXkkk Кожен рядок підматриці буде словом, що вбудовує слово, яке представляє рядок (рядок …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

Тут "маса доказів" (WOE) - поширений термін у опублікованій науковій та політичній літературі, найчастіше розглядається в контексті оцінки ризику, визначеного: w(e:h)=logp(e|h)p(e|h¯¯¯)ш(е:год)=журнал⁡p(е|год)p(е|год¯)w(e : h) = \log\frac{p(e|h)}{p(e|\overline{h})} де докази, h - гіпотеза.eеehгодh Тепер я хочу знати, яка головна відмінність від PMI (точкова взаємна інформація) p m i ( e , h ) …

11 probability  bayesian  mutual-information 

Я бачив пару переговорів нестатистів, де, здається, винаходити кореляційні заходи, використовуючи взаємну інформацію, а не регресію (або еквівалентні / тісно пов'язані статистичні тести). Я вважаю, що є вагомі причини, що статистики не застосовують такого підходу. Я розумію, що оцінювачі ентропії / взаємної інформації, як правило, є проблематичними та нестабільними. Я …

10 correlation  mutual-information 

Я трохи розгублений. Чи може хтось пояснити мені, як обчислити взаємну інформацію між двома термінами на основі матриці термінового документа з двояковим виникненням терміна як ваг? Document1Document2Document3′Why′111′How′101′When′111′Where′100′Why′′How′′When′′Where′Document11111Document21010Document31110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & 1 …

10 python  information-theory  mutual-information  numpy  pandas 

Я намагаюся застосувати ідею взаємної інформації до вибору функцій, як описано в цих конспектах лекцій (на сторінці 5). Моя платформа - Matlab. Одна з проблем, які я виявляю при обчисленні взаємної інформації з емпіричних даних, полягає в тому, що число завжди зміщується вгору. Я знайшов близько 3 ~ 4 різних …

10 matlab  feature-selection  information-theory  mutual-information