Використання інформаційної геометрії для визначення відстаней та обсягів… корисно?


13

Я натрапив на велику кількість літератури, яка виступає за використання метрики Інформації Фішера як природної локальної метрики в просторі розподілів ймовірностей, а потім інтегруючи її за визначенням відстаней і обсягів.

Але чи справді ці "інтегровані" кількості корисні для чого-небудь? Я не знайшов теоретичних виправдань і дуже мало практичних застосувань. Одним з них є Гай ліванської роботою , де він використовує «відстань Фішера» для класифікації документів і ще один є Родрігес » ABC Модельного Selection ... де" обсяг Фішера "використовуються для вибору моделі. Мабуть, використання "обсягу інформації" покращує "накази масштабу" порівняно з AIC та BIC для вибору моделі, але я не бачив жодної подальшої роботи з цієї роботи.

Теоретичним обгрунтуванням може бути обмеження узагальнення, яке використовує цю міру відстані або обсягу і є кращою за межі, отримані від MDL або асимптотичних аргументів, або метод, що спирається на одну з цих величин, що, очевидно, краще в якійсь розумній практичній ситуації, чи є будь-які результати такого роду?


Інформація Фішера дає нижню межу в оцінці параметрів. Це природна метрика, оскільки вона приблизно говорить щось на кшталт "у цьому напрямку складність моєї проблеми не може зменшитися більше ніж це". Те, що ви називаєте межами узагальнення, - це верхні межі? ви хочете знати ефективність методу, який використовує метрику Фішера (велике тіло, про яке ви згадуєте, - хороший список)? вибачте, але у мене справді не виникає питання :) чи можете ви переформулювати цю точку?
Робін Жирард

Скажімо, інформаційна матриця Фішера дає наш риманівський метричний тензор. Це дозволяє нам знаходити довжину дуги будь-якої кривої шляхом інтеграції. Потім ви визначаєте відстань між p і q як найменшу довжину дуги над усіма кривими, що з'єднують p і q. Це міра відстані, про яку я питаю. Те саме з обсягом.
Ярослав Булатов

1
Тож, як приклад, Родрігес отримує значне поліпшення, використовуючи "обсяг інформації" як міру складності моделі, але дивно, що я не можу побачити, щоб хтось інший намагався цього зробити
Ярослав Булатов

Відповіді:


5

Минулого тижня в Королівському статистичному товаристві було прочитано документ про методи MCMC над Рімановими колекторами, в основному з використанням метрики інформації Фішера: http://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting

Результати виглядають багатообіцяючими, хоча, як зазначають автори, у багатьох цікавих моделях (таких як моделі сумішей) інформація про Фішера не має аналітичної форми.


1
Це папір "Рімана Рінг Лангевіна"? Чи інтегрувати інформацію про Фішера в якийсь момент?
Ярослав Булатов

4

Найвідоміший аргумент полягає в тому, що метрика Фішера, будучи інваріантною для координації перетворень, може бути використана для формулювання неінформованого попереднього (Джефріс раніше). Не впевнений, що купую!

Менш відомо, що іноді ці "інтегровані кількості" виявляються розбіжностями, і таке, можна стверджувати, що відстані рибалки породжують узагальнений набір розбіжностей (та їх властивості).

Але все-таки мені ще належить знайти гарний інтуїтивний опис інформації про рибалки та кількості, яку вона отримує. Скажіть, будь ласка, якщо ви знайдете його.


Про інформацію про Фішера відомо багато речей, це невід'ємна інформація про рибалки. Я не знайомий з тим, що ви говорите про інформацію Фішера, що перетворюється на відому розбіжність щодо інтеграції
Ярослав Булатов,

4

Причиною того, що "не слідкувати", є те, що мало хто розуміє роботу Родрігеса над цим питанням багато років назад. Це важливі речі, і ми побачимо більше цього в майбутньому, я впевнений.

Однак дехто може стверджувати, що метрика Фішера є лише наближенням 2-го порядку до справжньої метрики (наприклад, робота Ноймана про встановлення ентропічних пріорів ), яка насправді визначається дистанцією Кульбека-Ліблера (або її узагальненнями) і що призводить до формулювання Зеллнера Пріорі МДІ.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.