Запитання з тегом «information-theory»

Галузь математики / статистики, що використовується для визначення інформаційної здатності каналу, будь то та, яка використовується для зв'язку, або така, яка визначена в абстрактному розумінні. Ентропія - один із заходів, за допомогою яких теоретики інформації можуть кількісно оцінити невизначеність, пов'язану з прогнозуванням випадкової величини.

3
Визначення та походження "перехресної ентропії"
Не посилаючись на джерела, Вікіпедія визначає перехресну ентропію дискретних розподілів і мають бутиППPQQQ Н×( С; Q )= - ∑хp ( x )журналq( х ) .Н×(П;Q)=-∑хp(х)журнал⁡q(х).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Хто перший почав вживати цю кількість? А хто винайшов цей термін? Я заглянув: JE Shore та RW …
4
Типовий набір концепції
Я вважав, що концепція типового набору є досить інтуїтивно зрозумілою: послідовність довжини nnn належить до типового набору A(n)ϵAϵ(n)A_\epsilon ^{(n)} якщо ймовірність виходу послідовності буде великою. Отже, будь-яка послідовність, яка, ймовірно, була б в A(n)ϵAϵ(n)A_\epsilon ^{(n)} . (Я уникаю формального визначення, пов'язаного з ентропією, тому що я намагаюся його зрозуміти якісно.) …
1
Якісно, ​​що таке перехресна ентропія
Це питання дає кількісне визначення перехресної ентропії з точки зору її формули. Я шукаю більш понятне визначення, wikipedia говорить: В теорії інформації перехресна ентропія між двома розподілами ймовірностей вимірює середню кількість бітів, необхідних для ідентифікації події з набору можливостей, якщо використовується схема кодування на основі заданого розподілу ймовірностей q, а …
1
Як інтерпретувати диференційну ентропію?
Нещодавно я прочитав цю статтю про ентропію дискретного розподілу ймовірностей. Він описує приємний спосіб мислення про ентропію як очікувану кількість бітів (принаймні, при використанні у вашому визначенні ентропії), необхідного для кодування повідомлення, коли ваше кодування є оптимальним, враховуючи розподіл ймовірності вживаних вами слів.log2log2\log_2 Однак, поширюючись на безперервний випадок, як тут, …
3
Посилання, що виправдовують використання гауссових сумішей
Моделі гауссових сумішей (ГММ) привабливі, оскільки з ними просто працювати як аналітично, так і на практиці, і здатні моделювати деякі екзотичні розподіли без надмірної складності. Є декілька аналітичних властивостей, яких слід очікувати, які загалом не зрозумілі. Зокрема: Скажімо, SnSnS_n - клас усіх гауссових сумішей з nnn компонентами. Чи гарантуємо нам, …
1
Чи завжди диференціальна ентропія менше, ніж нескінченність?
Для довільної безперервної випадкової величини, скажімо , чи є її диференціальна ентропія завжди меншою від ? (Це нормально, якщо це .) Якщо ні, то яка необхідна і достатня умова, щоб вона була менше ?XXX∞∞\infty−∞−∞-\infty∞∞\infty
2
Доведіть, що максимальний розподіл ентропії з фіксованою матрицею коваріації є гауссом
Я намагаюсь скрутити наступний доказ того, що у Гауса є максимальна ентропія. Як має значення зірковий крок? Конкретна коваріація фіксує лише другий момент. Що відбувається з третім, четвертим, п'ятим моментами тощо?
2
Результати оцінок Монте-Карло, отримані шляхом вибірки важливості
Я працював над вибіркою важливості досить близько протягом останнього року і маю декілька відкритих питань, з якими я сподівався отримати допомогу. Мій практичний досвід щодо важливих схем відбору проб полягав у тому, що вони можуть періодично давати фантастичні оцінки з низькою дисперсією та низькою ухилом. Однак частіше вони схильні давати …
1
Визначальна інформація про Фішера
(Я подібне питання розмістив на math.se. ) В інформаційній геометрії визначник інформаційної матриці Фішера є природною формою об'єму на статистичному колекторі, тому він має приємну геометричну інтерпретацію. Той факт, що він виявляється у визначенні Джефріса до, наприклад, пов'язаний з його інваріантністю в рамках репараметризації, яка є (імхо) геометричною властивістю. Але …
1
Використання взаємної інформації для оцінки кореляції між суцільною змінною та категоріальною змінною
Що стосується заголовку, ідея полягає у використанні взаємної інформації тут і після MI для оцінки "кореляції" (визначеної як "скільки я знаю про A, коли я знаю B") між суцільною змінною та категоріальною змінною. Я розкажу вам свої міркування з цього питання за мить, але перед тим, як порадити вам прочитати …
1
Диференціальна ентропія
Диференціальна ентропія РВ - . Це залежить від , що є стандартним відхиленням.log2(σ2πe−−−√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Якщо нормалізувати випадкову величину, щоб вона мала одиничну дисперсію, її диференціальна ентропія падає. Для мене це контрінтуїтивно, тому що складність нормалізації Колмогорова повинна бути дуже малою порівняно зі зменшенням ентропії. Можна просто розробити декодер кодера, …
2
Різні визначення AIC
З Вікіпедії є визначення інформаційного критерію Akaike (AIC) як , де k - кількість параметрів, а log L - вірогідність журналу моделі.А яС=2k−2logLAIC=2k−2log⁡L AIC = 2k -2 \log L kkklogLlog⁡L\log L Тим НЕ менше, наші замітки Економетрика в поважній державного університету , що I C = журнал ( σ 2 …
1
Відмінності між PROC змішаними та lme / lmer у R - ступенями свободи
Примітка: це запитання є репостом, оскільки моє попереднє питання довелося видалити з юридичних причин. Порівнюючи PROC MIXED від SAS з функцією lmeз nlmeпакету в R, я натрапив на деякі досить заплутані відмінності. Більш конкретно, ступеня свободи в різних випробувань відрізняються між PROC MIXEDі lme, і я задавався питанням, чому. Почніть …
12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 
5
Розрахунок розбіжності Дженсена-Шеннона для 3-х розподільних задач: Це нормально?
Я хотів би порахувати розбіжність Дженсен-Шеннона для наступних 3 розподілів. Чи правильний розрахунок нижче? (Я дотримувався формули JSD з Вікіпедії ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6, 1/6, 0) + (0, 1/30, …
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.