Запитання з тегом «information-theory»

Я бачив тут декілька запитань щодо того, що це означає в простому розумінні, але це занадто непросто для моєї мети. Я намагаюся математично зрозуміти, що означає оцінка AIC. Але в той же час я не хочу жорсткого доказу, який би змусив мене не бачити більш важливих моментів. Наприклад, якби це …

34 self-study  model-selection  aic  entropy  information-theory 

Я шукаю інтуїтивне пояснення для наступних питань: У теорії статистики та інформації, чим відрізняється відстань Бхаттачарія від розбіжності KL як міри різниці між двома дискретними розподілами ймовірностей? Чи не мають вони абсолютно ніяких зв’язків і вимірюють відстань між двома розподілами ймовірностей абсолютно різним чином?

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

Ендрю Морі визначає приріст інформації як: IG(Y|X)=H(Y)−H(Y|X)IG(Y|X)=H(Y)−H(Y|X)IG(Y|X) = H(Y) - H(Y|X) де - умовна ентропія . Однак Вікіпедія називає вищезазначену кількість взаємною інформацією .H(Y|X)H(Y|X)H(Y|X) Вікіпедія, з іншого боку, визначає приріст інформації як розбіжність Куллбека – Лейблера (відома також як розбіжність інформації або відносна ентропія) між двома випадковими змінними: DKL(P||Q)=H(P,Q)−H(P)DKL(P||Q)=H(P,Q)−H(P)D_{KL}(P||Q) = …

33 information-theory 

Чи є заходи подібності чи відстані між двома симетричними матрицями коваріації (обидві мають однакові розміри)? Я маю на увазі аналоги KL-розбіжності двох розподілів ймовірностей або евклідової відстані між векторами, за винятком матриць. Я думаю, було б досить багато вимірювань подібності. В ідеалі я також хотів би перевірити нульову гіпотезу про …

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

Після довгого траулінгу Cross Valified я все ще не відчуваю, що я ближче до розуміння розбіжності KL поза сферою теорії інформації. Це досить дивно, як комусь із математичним фоном, щоб було набагато простіше зрозуміти пояснення теорії інформації. Щоб окреслити моє розуміння з передумови теорії інформації: Якщо у нас є випадкова …

23 inference  entropy  information-theory  kullback-leibler  compression 

Я використав принцип максимальної ентропії для обгрунтування використання декількох розподілів у різних налаштуваннях; однак мені ще не вдається сформулювати статистичну, на відміну від інформаційно-теоретичної інтерпретації максимальної ентропії. Іншими словами, що означає максимізація ентропії щодо статистичних властивостей розподілу? Хтось наткнувся чи, можливо, виявив собі статистичну інтерпретацію макс. ентропійні розподіли, які не …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

Я вивчаю класифікаційні та регресійні дерева, і одним із заходів щодо місця розбиття є оцінка GINI. Зараз я звик визначати найкраще розділене місце, коли журнал коефіцієнта ймовірності одних і тих же даних між двома розподілами дорівнює нулю, тобто ймовірність членства однаково вірогідна. Моя інтуїція говорить про те, що повинен бути …

21 cart  likelihood-ratio  information-theory  kullback-leibler  gini 

Точність визначається як: p = true positives / (true positives + false positives) Чи правильно, що як true positivesі false positivesпідхід 0, точність наближається до 1? Те саме запитання для відкликання: r = true positives / (true positives + false negatives) Зараз я впроваджую статистичний тест, де мені потрібно обчислити …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Зовсім недавно я прочитав дві статті. Перший - про історію кореляції, а другий - про новий метод під назвою Максимальний інформаційний коефіцієнт (MIC). Мені потрібна ваша допомога щодо розуміння методу MIC для оцінки нелінійних кореляцій між змінними. Більше того, Інструкції щодо використання в R можна знайти на веб-сайті автора (у …

20 correlation  nonparametric  bioinformatics  information-theory  mutual-information 

У визначенні спільно типових множин (у "Елементах теорії інформації", гл. 7.6, стор. 195) ми використовуємо - 1нжурналр ( хн)-1нжурнал⁡p(хн)-\frac{1}{n} \log{p(x^n)} в якості емпіричної ентропії як -sequence з . Я ніколи раніше не стикався з цією термінологією. Це не визначено явно ніде відповідно до покажчика книги.ннnр ( хн) = ∏нi = …

19 information-theory  entropy 

Припустимо, у мене є два множини XXX і і спільний розподіл ймовірностей над цими множинами . Нехай і позначають граничні розподіли по і відповідно.YYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Взаємна інформація між і визначається як: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) тобто це середнє значення точкової взаємної інформації pmi .(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log⁡(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) Припустимо, я знаю верхню та …

18 entropy  mutual-information  information-theory 

Розглянемо наступні два розподіли ймовірностей P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Я підрахував розбіжність -Лейблера, яка дорівнює , я хочу взагалі знати, що мені показує це число? Взагалі, розбіжність Куллбека-Лейблера показує мені, наскільки далеко один розподіл …

18 interpretation  information-theory  kullback-leibler 

Чому дивергенція KL є негативною? З точки зору теорії інформації, я маю таке інтуїтивне розуміння: Скажімо, є два ансамблі AAA і BBB які складаються з одного набору елементів, позначених xxx . p(x)p(x)p(x) і q(x)q(x)q(x) - різні розподіли ймовірностей щодо ансамблів AAA і BBB відповідно. З точки зору теорії інформації, являє …

18 information-theory  kullback-leibler 

Я спробував обчислити AIC лінійної регресії в R, але без використання AICфункції, як це: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Однак AICдає інше значення: AIC(lm_mtcars) [1] 190.7999 Може хтось скаже мені, що я роблю не так?

16 r  aic  information-theory 

Перестановочні тести (також називаються тестом рандомизації, тестом на повторну рандомізацію або точним тестом) дуже корисні і корисні, коли припущення про нормальний розподіл, необхідне, наприклад, t-testне виконується, і при перетворенні значень за ранжуванням непараметричний тест, як-от Mann-Whitney-U-test, призведе до втрати більше інформації. Однак одне і єдине припущення не слід оминути увагою …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information