Вибір функцій з використанням взаємної інформації в Matlab

Я намагаюся застосувати ідею взаємної інформації до вибору функцій, як описано в цих конспектах лекцій (на сторінці 5).

Моя платформа - Matlab. Одна з проблем, які я виявляю при обчисленні взаємної інформації з емпіричних даних, полягає в тому, що число завжди зміщується вгору. Я знайшов близько 3 ~ 4 різних файлів для обчислення MI на Matlab Central, і всі вони дають великі числа (як> 0,4), коли я подаю в незалежні випадкові величини.

Я не є експертом, але проблема, здається, полягає в тому, що якщо ви просто використовуєте спільну та граничну щільність для обчислення ІМ, в процесі цього вводиться зміщення, оскільки ІМ за визначенням позитивний. Хтось має практичні поради щодо точної оцінки взаємної інформації?

На практиці пов'язане питання, як люди насправді використовують ІМ для вибору функцій? Мені не очевидно, як придумати порогове значення, оскільки ІМ теоретично не обмежений. Або ж люди просто класифікують функції за MI та беруть верхню функцію k?

Це проблема обмеженого зміщення вибірки .

Невеликі вибіркові оцінки щільності є галасливими, і ця зміна викликає помилкові кореляції між змінними, які збільшують оцінене значення інформації.

$(R-1)(S-1) / 2N\ln2$$2N\ln(2)I$$\chi^2$$(R-1)(S-1)$

Деякі пакети, що реалізують ці методи в Matlab, включають infotoolbox і інструментарій аналізу поїздів Spike .

Для безперервного випадку оцінки, засновані на найближчих відстанях сусідів, зменшують проблему.

Я використав KL-дивергенцію і при відповідних розмірах вибірки отримую значення 0 для локусів, де розподіли мають рівну ймовірність.

Я пропоную вам перефразувати свій ІМ з точки зору KL-розбіжності.

Ви повинні використовувати алгоритм часткової взаємної інформації для вибору змінної входу (функції). Він заснований на концепціях ІМ та оцінці щільності ймовірності. Наприклад у:

1. PMI на основі ядра : (+) має критерії зупинки (інформаційні критерії Akaike) (-) більш висока складність
2. PMI на основі kNN : (-) не має критеріїв зупинки (+) нижчої складності

Я використовував PMI, щоб зменшити кількість входів нейронної мережі, оскільки вони збільшують складність і вводять інші проблеми. Повний огляд алгоритмів вибору змінної вхідної інформації (IVS) ви можете знайти в статті Огляд методів вибору змінних входів для штучних нейронних мереж . Ви можете використовувати IVS для SVM та інших. Щоб зробити речі короткими, використовуйте PMI.