Запитання з тегом «mutual-information»

Я хочу оцінити співвідношення між двома змінними, A і B, використовуючи взаємну інформацію. Спосіб її обчислення - це бінінг спостережень (див. Приклад Python-коду нижче). Однак які фактори визначають, яка кількість бункерів є розумною? Мені потрібно, щоб обчислення були швидкими, тому я не можу просто використовувати багато бункерів, щоб бути на …

10 information-theory  mutual-information  binning 

Я намагаюся зрозуміти нормалізовану форму точкової взаємної інформації. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Чому ймовірність спільного журналу нормалізує точкову взаємну інформацію між [-1, 1]? Точна взаємна інформація: pmi=log(p(x,y)p(x)p(y))pmi=log(p(x,y)p(x)p(y))pmi = log(\frac{p(x,y)}{p(x)p(y)}) p (x, y) обмежений [0, 1], тому журнал (p (x, y)) обмежений (, 0]. Схоже, що журнал (p (x, y)) повинен якось …

9 entropy  information-theory  mutual-information 

У мене виникають проблеми зі створенням інтуїції щодо спільної ентропії. Н( X, Y)H(X,Y)H(X,Y) = невизначеність у спільному розподілі р ( х , у)p(x,y)p(x,y); Н( X)H(X)H(X) = невизначеність в pх( х )px(x)p_x(x); Н( Y)H(Y)H(Y) = невизначеність в pу( у)py(y)p_y(y). Якщо H (X) високий, то розподіл є більш невизначеним, і якщо ви …

9 information-theory  mutual-information 

Припустимо, у мене є один зразок частоти 4 можливих подій: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 і я маю очікувані ймовірності моїх подій: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 За допомогою суми спостережуваних частот моїх чотирьох подій (18) …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

Яка різниця між перехресною кореляцією та взаємною інформацією. Які проблеми можна вирішити за допомогою цих заходів та коли доцільно використовувати одну над іншою. Дякуємо за коментарі. Для уточнення, питання викликає зацікавленість в аналізі йомажу, а не аналізі часових рядів, хоча будь-яке просвітлення в цій області також буде оцінено

9 cross-correlation  mutual-information