У чому полягає основна різниця між співвідношенням та взаємною інформацією?

15

моє питання особливо стосується реконструкції мережі

correlation mutual-information

25

Кореляція вимірює лінійну залежність (кореляція Пірсона) або монотонну залежність (кореляція Спірмена) між двома змінними, X і Y.

Взаємна інформація є більш загальною і вимірює зменшення невизначеності у Y після дотримання X. Це відстань KL між щільністю суглоба та добутком окремих густин. Таким чином, ІМ може вимірювати немонотонні відносини та інші складніші відносини.

— Роб Хайндман
джерело

3

Кореляція не обов'язково лінійна - rho Спірмена покладається на монотонну функцію, і все ж ми називаємо це "коефіцієнтом кореляції", а не "коефіцієнтом взаємної інформації". І з поважної причини: вона надає інформацію про зв'язок між двома змінними. Взаємна інформація, зайва інформація, взаємна дисперсія, кореляція - ці терміни настільки схожі, і це питання стосується реконструкції мережі , тому я гадаю, що ми опинилися в неправильній області з правильною термінологією. Це досить специфічне питання ...

— aL3xa

1

Гарна думка. Я відредагував свою відповідь, щоб включити монотонні стосунки. Я нічого не знаю про реконструкцію мережі.

— Роб Хайндман

4

Щоб додати відповідь Роб ... щодо зворотної інженерії мережі, ІМ може віддавати перевагу кореляції, коли ви хочете отримати причинно-наслідкові, а не асоціативні посилання у вашій мережі. Кореляційні мережі суто асоціативні. Але для ІМ потрібно більше даних та обчислювальної потужності.

— ар
джерело