Запитання з тегом «entropy»

Ентропія Шеннона - це від’ємник суми ймовірностей кожного результату, помноженого на логарифм ймовірностей для кожного результату. Якій меті служить логарифм у цьому рівнянні? Інтуїтивно зрозуміла або візуальна відповідь (на відміну від глибоко математичної відповіді) отримає бонусні бали!

72 entropy  intuition  sequence-analysis 

Я хочу виміряти ентропію / щільність інформації / подібність малюнка двовимірної двійкової матриці. Дозвольте показати кілька зображень для уточнення: Цей дисплей повинен мати досить високу ентропію: А) Це має мати середню ентропію: Б) Нарешті, ці зображення повинні мати ентропію майже нуля: C) Г) Е) Чи є якийсь індекс, який фіксує …

53 algorithms  binary-data  entropy  pattern-recognition  information 

Я бачив тут декілька запитань щодо того, що це означає в простому розумінні, але це занадто непросто для моєї мети. Я намагаюся математично зрозуміти, що означає оцінка AIC. Але в той же час я не хочу жорсткого доказу, який би змусив мене не бачити більш важливих моментів. Наприклад, якби це …

34 self-study  model-selection  aic  entropy  information-theory 

Я читаю про ентропію і важко розумію, що це означає у безперервному випадку. На сторінці вікі зазначено наступне: Розподіл ймовірностей подій у поєднанні з інформаційною кількістю кожної події утворює випадкову змінну, очікуваним значенням якої є середня кількість інформації, або ентропія, що генерується цим розподілом. Отже, якщо я обчислюю ентропію, пов'язану …

32 entropy 

Я знаю, що ентропія є мірою випадковості процесу / змінної, і її можна визначити наступним чином. для випадкової величини множині : - . У книзі про ентропію та теорію інформації Маккея він подає це твердження в Ch2X∈Х∈X \inAАAH(X)=∑xi∈A−p(xi)log(p(xi))Н(Х)=∑хi∈А-p(хi)журнал⁡(p(хi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) Ентропія максимальна, якщо р рівномірний. Інтуїтивно, …

32 uniform  entropy  maximum-entropy 

У цій роботі талановитий дослідник Косма Шалізі стверджує, що для повного прийняття суб'єктивного байєсівського погляду необхідно також прийняти нефізичний результат того, що стрілка часу (дана потоком ентропії) насправді повинна йти назад . Це в основному спроба сперечатися проти максимальної ентропії / повністю суб'єктивного байєсівського погляду, висунутого та популяризованого Е.Т. Джейнес …

31 bayesian  entropy  maximum-entropy  philosophical 

Після довгого траулінгу Cross Valified я все ще не відчуваю, що я ближче до розуміння розбіжності KL поза сферою теорії інформації. Це досить дивно, як комусь із математичним фоном, щоб було набагато простіше зрозуміти пояснення теорії інформації. Щоб окреслити моє розуміння з передумови теорії інформації: Якщо у нас є випадкова …

23 inference  entropy  information-theory  kullback-leibler  compression 

Я використав принцип максимальної ентропії для обгрунтування використання декількох розподілів у різних налаштуваннях; однак мені ще не вдається сформулювати статистичну, на відміну від інформаційно-теоретичної інтерпретації максимальної ентропії. Іншими словами, що означає максимізація ентропії щодо статистичних властивостей розподілу? Хтось наткнувся чи, можливо, виявив собі статистичну інтерпретацію макс. ентропійні розподіли, які не …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

Я жодним чином не є статистиком (я пройшов курс математичної статистики, але не більше того), і нещодавно, вивчаючи теорію інформації та статистичну механіку, я зустрів цю річ під назвою "міра невизначеності" / "ентропія". Я читав виведення цього Хінчіна як міру невизначеності, і це мало для мене сенс. Інша річ, яка …

21 entropy  inference 

Який найбільш інформаційний / фізико-теоретичний правильний спосіб обчислити ентропію зображення? Мене зараз не хвилює ефективність обчислень - я хочу, щоб це було теоретично максимально правильним. Почнемо із зображення сірого масштабу. Один із інтуїтивно зрозумілих підходів - розглядати зображення як мішок пікселів і обчислювати Н= - ∑кpкл о г2( ск)Н=-∑кpклог2(pк) H …

21 spatial  entropy  image-processing 

У визначенні спільно типових множин (у "Елементах теорії інформації", гл. 7.6, стор. 195) ми використовуємо - 1нжурналр ( хн)-1нжурнал⁡p(хн)-\frac{1}{n} \log{p(x^n)} в якості емпіричної ентропії як -sequence з . Я ніколи раніше не стикався з цією термінологією. Це не визначено явно ніде відповідно до покажчика книги.ннnр ( хн) = ∏нi = …

19 information-theory  entropy 

Я шукаю книгу чи Інтернет-ресурс, який пояснює різні види ентропії, такі як Ентропія зразків та Ентропія Шеннона та їх переваги та недоліки. Чи може хтось вказати мені в правильному напрямку?

18 references  entropy 

Припустимо, у мене є два множини XXX і і спільний розподіл ймовірностей над цими множинами . Нехай і позначають граничні розподіли по і відповідно.YYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Взаємна інформація між і визначається як: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) тобто це середнє значення точкової взаємної інформації pmi .(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log⁡(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) Припустимо, я знаю верхню та …

18 entropy  mutual-information  information-theory 

Мені хотілося б знати, чи використовує випадковий ліс Бреймана (випадковий ліс у пакеті R randomForest) як критерій розщеплення (критерій вибору атрибутів) посилення інформації або індекс Джині? Я спробував це знайти на http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm та в документації для пакету randomForest в R. Але єдине, що я знайшов - це те, що індекс …

15 r  random-forest  entropy  gini 

Перестановочні тести (також називаються тестом рандомизації, тестом на повторну рандомізацію або точним тестом) дуже корисні і корисні, коли припущення про нормальний розподіл, необхідне, наприклад, t-testне виконується, і при перетворенні значень за ранжуванням непараметричний тест, як-от Mann-Whitney-U-test, призведе до втрати більше інформації. Однак одне і єдине припущення не слід оминути увагою …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information