Чому статистики не використовують взаємну інформацію як міру асоціації?

Я бачив пару переговорів нестатистів, де, здається, винаходити кореляційні заходи, використовуючи взаємну інформацію, а не регресію (або еквівалентні / тісно пов'язані статистичні тести).

Я вважаю, що є вагомі причини, що статистики не застосовують такого підходу. Я розумію, що оцінювачі ентропії / взаємної інформації, як правило, є проблематичними та нестабільними. Я припускаю, що влада також є проблематичною в результаті: вони намагаються обійти це, заявляючи, що вони не використовують параметричну рамку тестування. Зазвичай така робота не турбується з розрахунками потужності, або навіть з довірчими / надійними інтервалами.

Але якщо зайняти позицію захисника диявола, чи повільна конвергенція велика угода, коли набори даних надзвичайно великі? Крім того, іноді ці методи, здається, "працюють" в тому сенсі, що асоціації перевірені подальшими дослідженнями. Яка найкраща критика щодо використання взаємної інформації як міри асоціації, і чому вона не використовується широко в статистичній практиці?

редагувати: Чи є хороші документи, які висвітлюють ці питання?

Я думаю, вам слід розрізняти категоричні (дискретні) дані та безперервні дані.

Для безперервних даних кореляція Пірсона вимірює лінійну (монотонну) залежність, рангову кореляцію монотонну залежність.

MI з іншого боку "виявляє" будь-які стосунки. Зазвичай це не те, що вас цікавить, та / або може бути шумом. Зокрема, ви повинні оцінити щільність розподілу. Але оскільки це безперервно, ви спершу створите гістограму [дискретні бункери], а потім обчислите ІМ. Але оскільки MI дозволяє здійснювати будь-які відносини, ІІ змінюватиметься, коли ви використовуєте менші скриньки (тобто ви дозволяєте більше хитатися). Таким чином, ви можете бачити, що оцінка ІМ буде дуже нестабільною, не дозволяючи ставити будь-які довірчі інтервали на оцінку і т. Д. [Те саме стосується, якщо ви робите безперервну оцінку щільності.] В основному є занадто багато речей для оцінювання, перш ніж насправді обчислити. МВ.

З іншого боку, категоричні дані досить добре вписуються в рамки ІМ (див. G-тест), і вибирати між G-тестом та хі-квадратом не так вже й багато.