Запитання з тегом «entropy»

Не посилаючись на джерела, Вікіпедія визначає перехресну ентропію дискретних розподілів і мають бутиППPQQQ Н×( С; Q )= - ∑хp ( x )журналq( х ) .Н×(П;Q)=-∑хp(х)журнал⁡q(х).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Хто перший почав вживати цю кількість? А хто винайшов цей термін? Я заглянув: JE Shore та RW …

15 information-theory  entropy 

Я кластеризую розподіл ймовірностей, використовуючи алгоритм розповсюдження афінності , і я планую використовувати дивергенцію Дженсена-Шеннона як мій показник відстані. Чи правильно використовувати JSD як відстань, або JSD у квадраті? Чому? Які відмінності випливали б із вибору того чи іншого?

15 machine-learning  clustering  entropy  distance-functions 

Я вважав, що концепція типового набору є досить інтуїтивно зрозумілою: послідовність довжини nnn належить до типового набору A(n)ϵAϵ(n)A_\epsilon ^{(n)} якщо ймовірність виходу послідовності буде великою. Отже, будь-яка послідовність, яка, ймовірно, була б в A(n)ϵAϵ(n)A_\epsilon ^{(n)} . (Я уникаю формального визначення, пов'язаного з ентропією, тому що я намагаюся його зрозуміти якісно.) …

15 entropy  intuition  information-theory 

Це питання дає кількісне визначення перехресної ентропії з точки зору її формули. Я шукаю більш понятне визначення, wikipedia говорить: В теорії інформації перехресна ентропія між двома розподілами ймовірностей вимірює середню кількість бітів, необхідних для ідентифікації події з набору можливостей, якщо використовується схема кодування на основі заданого розподілу ймовірностей q, а …

15 entropy  information-theory 

Нещодавно я прочитав цю статтю про ентропію дискретного розподілу ймовірностей. Він описує приємний спосіб мислення про ентропію як очікувану кількість бітів (принаймні, при використанні у вашому визначенні ентропії), необхідного для кодування повідомлення, коли ваше кодування є оптимальним, враховуючи розподіл ймовірності вживаних вами слів.log2log2\log_2 Однак, поширюючись на безперервний випадок, як тут, …

15 entropy  information-theory 

Дивлячись на власні вектори матриці коваріації, ми отримуємо напрями максимальної дисперсії (перший власний вектор - це напрямок, у якому дані найбільше змінюються тощо); це називається основним компонентним аналізом (PCA). Мені було цікаво, що значить би дивитись на власні вектори / значення матриці взаємної інформації, чи вказували б вони у напрямку …

14 pca  entropy  mutual-information  eigenvalues 

Для довільної безперервної випадкової величини, скажімо , чи є її диференціальна ентропія завжди меншою від ? (Це нормально, якщо це .) Якщо ні, то яка необхідна і достатня умова, щоб вона була менше ?XXX∞∞\infty−∞−∞-\infty∞∞\infty

14 entropy  information-theory  maximum-entropy 

Ентропії безперервного розподілу з функцією щільності визначається як негативне в очікуванні і , отже , дорівнюєffflog(f),log⁡(f),\log(f), Hf=−∫∞−∞log(f(x))f(x)dx.Hf=−∫−∞∞log⁡(f(x))f(x)dx.H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x. Ми також говоримо, що будь-яка випадкова величина , розподіл якої має щільність має ентропію (Цей інтеграл добре визначений, навіть якщо має нулі, тому що може бути прийнято рівним нулю …

14 distributions  data-transformation  entropy 

Чи має значення перехресна ентропія в контексті регресії (на відміну від класифікації)? Якщо так, чи могли б ви навести приклад іграшки через TensorFlow? Якщо ні, то чому б і ні? Я читав про крос-ентропію в нейронних мережах та глибоке навчання Майкла Нільсена, і, здається, щось таке, що природно можна було …

14 regression  entropy  tensorflow  cross-entropy 

Я намагаюсь скрутити наступний доказ того, що у Гауса є максимальна ентропія. Як має значення зірковий крок? Конкретна коваріація фіксує лише другий момент. Що відбувається з третім, четвертим, п'ятим моментами тощо?

13 entropy  information-theory  maximum-entropy 

Отже, це питання дещо пов'язане, але я наполегливо намагався зробити це максимально відвертим. Мета: Коротше кажучи, існує виведення негентропії, яка не передбачає кумулянтів вищого порядку, і я намагаюся зрозуміти, як це було отримано. Довідка: (я все це розумію) Я самостійно вивчаю книгу «Незалежний аналіз компонентів» , яку знайшов тут. (Це …

13 distributions  probability  pdf  entropy 

Чи є якась користь для величини у статистиці чи теорії інформації?∫f(x)2dx∫f(x)2dx \int f(x)^2 dx

13 probability  entropy  information-theory 

Диференціальна ентропія РВ - . Це залежить від , що є стандартним відхиленням.log2(σ2πe−−−√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Якщо нормалізувати випадкову величину, щоб вона мала одиничну дисперсію, її диференціальна ентропія падає. Для мене це контрінтуїтивно, тому що складність нормалізації Колмогорова повинна бути дуже малою порівняно зі зменшенням ентропії. Можна просто розробити декодер кодера, …

13 information-theory  entropy  randomness 

У мене дуже великий набір даних, і близько 5% випадкових значень відсутні. Ці змінні співвідносяться між собою. Наступний приклад набору даних R - це лише іграшковий приклад з манекено-корельованими даними. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Я реалізував таку функцію для обчислення ентропії: from math import log def calc_entropy(probs): my_sum = 0 for p in probs: if p > 0: my_sum += p * log(p, 2) return - my_sum Результат: >>> calc_entropy([1/7.0, 1/7.0, 5/7.0]) 1.1488348542809168 >>> from scipy.stats import entropy # using a built-in package # …

11 mathematical-statistics  python  entropy