Запитання з тегом «information»

Я хочу виміряти ентропію / щільність інформації / подібність малюнка двовимірної двійкової матриці. Дозвольте показати кілька зображень для уточнення: Цей дисплей повинен мати досить високу ентропію: А) Це має мати середню ентропію: Б) Нарешті, ці зображення повинні мати ентропію майже нуля: C) Г) Е) Чи є якийсь індекс, який фіксує …

53 algorithms  binary-data  entropy  pattern-recognition  information 

Якщо інтерес полягає лише у оцінці параметрів моделі (точкове та / або інтервальне оцінювання) і попередня інформація не є достовірною, слабкою (я знаю, це трохи розпливчасто, але я намагаюся встановити сценарій, коли вибір вибору перед цим важко) ... Чому хтось вирішить використовувати байєсівський підхід із "неінформативними" неналежними пріорами замість класичного …

44 bayesian  inference  prior  likelihood  information 

З огляду на наступну ієрархічну модель, і, де є нормальним розподілом. Чи є спосіб отримати точний вираз для інформації Фішера граничного розподілу наведеного c . Тобто, яка інформація про Фішера: p (x | c) = \ int p (x | \ mu) p (\ mu | c) d \ mu …

20 multilevel-analysis  information  fisher-information 

Я намагаюся довести, що спостережувана інформаційна матриця, оцінена за слабко послідовним оцінкою максимальної ймовірності (MLE), є слабко послідовним оцінником очікуваної інформаційної матриці. Це широко цитований результат, але ніхто не дає посилань чи доказів (я вичерпав, я думаю, перші 20 сторінок результатів Google і мої підручники з статистикою)! Використовуючи слабко послідовну …

16 maximum-likelihood  expected-value  asymptotics  information  fisher-information 

Як говорить заголовок, чи зменшення розмірності завжди втрачає деяку інформацію? Розглянемо для прикладу PCA. Якщо дані, які я маю, дуже рідкісні, я б припустив, що «краще кодування» вдасться знайти (це якимось чином пов'язане з рангом даних?), І нічого не буде втрачено.

10 pca  information-theory  information