Коли трактується відносна, нормалізована функція корисності як pmf, що таке тлумачення ентропії Шеннона чи інформації Шеннона?

Припустимо, $\Omega$ - це набір взаємовиключних результатів дискретної випадкової величини, а $f$ - корисна функція, де $0 < f(\omega) \leq 1$ , $\sum_\Omega f(\omega) = 1$ і т.д.

Коли $f$ рівномірно розподілений по $\Omega$ і $f$ - функція маси ймовірностей , ентропія Шеннона є максимальним (=лпрог|Ом|), і коли одинелементів вQмає всіті«и мас, ентропія Шеннона зводитьсямінімуму (0, на самом деле). Це відповідає інтуїції щодонесподіваної(абозменшення невизначеності) та результатів таневизначеності(абоочікуваної несподіваності) та випадкових змінних:$H(\Omega) = \sum_{\Omega}f(\omega)log\frac{1}{f(\omega)}$$=log|\Omega|)$$\Omega$$f$$0$

• Коли рівномірно розподілено, невизначеність максимальна, і чим більше результатів для рівномірного розподілу маси, тим ми невизначеніші.$f$
• Коли $f$ має всю свою масу зосередженою на одному результаті, ми не маємо невизначеності.
• Коли ми присвоюємо результату ймовірність $1$ , ми не отримуємо ніякої інформації ("не здивовані"), коли ми її фактично спостерігаємо.
• Коли ми присвоюємо результату ймовірність все ближче і ближче до $0$ , спостереження за його фактичним явищем стає все більш інформативним ("дивовижним").

(Все це нічого не говорить про набагато конкретніше - але менш епістемічне - кодування інтерпретації інформації / ентропії Шеннона.)

Однак, коли $f$ має інтерпретацію корисної функції , чи існує чуттєва інтерпретація $log\frac{1}{f(\omega)}$$\sum f(\omega)log\frac{1}{f(\omega)}$

• $f$$\Omega$$f$
• функція корисності, де один результат має всю корисність, а решта не мають жодного (наскільки перекошений утиліта, наскільки це можливо), відповідає дуже сильним відносним уподобанням - відсутністю байдужості.

Чи існує посилання на це? Я щось пропустив щодо обмежень порівняння функцій маси ймовірностей та нормалізованих, відносних утиліт над дискретними випадковими змінними?

* Я знаю криві байдужості і не бачу, наскільки вони можуть відповідати моєму питанню з різних причин, починаючи з моєї уваги на категоричному просторі вибірки і з того, що мене не цікавить «байдужість» сама по собі, а швидше як інтерпретувати утиліти як імовірності та як інтерпретувати функціонали на ймовірності, коли (дискретний) "розподіл ймовірностей", про який йдеться, фактично або (додатково) має інтерпретацію функції корисності.

Перед ентропією Шеннона Обговорення, є ще один момент , який слід обговорити: виявляється , що ви маєте у вигляді кардинальної корисності , а не порядкової .

"Нормалізовані" функції утиліти можна зрозуміти в обох випадках. Але поняття "відносна перевага" можна визначити і виміряти лише в контексті кардинальної корисності.

І питання виникає не в двох описаних вами крайностях, а у всіх можливих проміжних випадках.

$A, B, C$

$$V(A) = 1, \;\;V(B) = 9,\;\; V(C) = 90$$

За звичайною корисністю це просто нам це говорить

$$A <_{pr} B <_{pr} C$$

$100$

$$U_V(A)=0.01, \;\; U_V(B) = 0.09,\;\; U_V(C) =0.9$$

Але за порядкової корисності ми могли б дуже добре використовувати іншу функцію корисності, яка була б призначена

$$W(A) = 31, \;\;W(B) = 32,\;\; W(C) = 37$$

і отримати

$$U_W(A)=0.31, \;\; U_W(B) = 0.32,\;\; U_W(C) =0.37$$

$V$$W$

$W$$V$

Чи знайомі ви з проблемами кардинальної корисності?

Після обміну з ОП в іншій моїй відповіді давайте трохи попрацюємо з його підходом.

$X$$X = \{x_1,...,x_k\}$$\Pr(X=x_i)=p_i, i=1,...,k$

Значення в підтримці також вводяться в реально оціненій функції корисної корисності, . Потім ми розглянемо нормовану функцію корисності$X$$u(x_i) > 0\; \forall i$

$$w(X): w(x_i) = \frac {u(x_i)}{\sum_{i=1}^ku(x_i)},\;\;i=1,...,k \tag{1}$$

і нам це кажуть

$$w(x_i) = p_i \tag{2}$$

Зауважимо, що ми не просто робимо зауваження, що нормалізована негативна дискретна функція кінцевої області задовольняє властивості функції масової ймовірності в цілому - ми конкретно припускаємо, що має функціональну форму PMF випадкової змінна, значення якої приймає як вхідні дані.$w(x_i)$$w(x_i)$

Оскільки є вимірюваною функцією випадкової величини, то вона також є випадковою змінною. Тож ми можемо осмислено розглянути речі на кшталт очікуваного значення. Використовуючи Закон несвідомого статистичного діяча$w(x_i)$

$$E[w(X)] = \sum_{i=1}^kp_iw(x_i) = \sum_{i=1}^kp_i^2 \tag{3}$$

Це випукла функція, і якщо ми спробуємо її екстремізувати над в рамках обмеження ми легко отримаємо$p_i$$\sum_{i=1}^kp_i=1$

$$\text{argmin} E[w(X)] = \mathbf p^*: p_1=p_2=...=p_k=1/k \tag {4}$$

і ми отримали загальний результат:

Нормована функціональна функція, як визначено вище, має мінімальне очікуване значення, якщо розподіл є рівномірним.$X$

Очевидно, що в такому випадку буде постійною функцією , виродженою випадковою змінною з і нульовою дисперсією.$w(X)$ $E[w(X)]=1/k$

Звернемося до ентропії Шеннона, яка є центром уваги ОП. Для обчислення Ентропії Шеннона потрібна функція маси ймовірності випадкової величини ... тому ми повинні знайти ПМП випадкової величини ... $w(X)$

Але моє враження, що це не те, що має на увазі ОП. Швидше за все, він розглядає Ентропію Шеннона як метрику, яка має деякі бажані алгебраїчні властивості і, можливо, може компактно вимірювати щось значуще.

Це робилося раніше в економіці, конкретно в промисловій організації, коли були побудовані показники концентрації ринку ("ступінь конкуренції / монополістична структура ринку"). Зазначу два, які тут виглядають особливо актуально.

A) Індекс Херфіндаля, має в якості своїх аргументів на ринкові частки компаній , що працюють на ринку, , тому їх сума єдності з побудови. Його нерасширенная версія є$n$$s_i$

$$H = \sum_{i=1}^n s_i^2$$

що є виразом, який має точно таку ж структуру з очікуваним значенням отриманим вище.$w(X)$

B) Ентропія Індекс , який має точну математичну форму з ентропією Шеннона.

$$R_e = -\sum_{i=1}^n s_i\ln s_i$$

Encaoua, D., & Jacquemin, A. (1980). Ступінь монополії, показники концентрації та загрози вступу. Міжнародний економічний огляд, 87-105. , забезпечують аксіоматичне деривацію "допустимих" показників концентрації, тобто вони визначають властивості, якими повинен володіти такий індекс. Оскільки їхній підхід абстрактний, я вважаю, що може бути корисним те, що ОП бажає вивчити та надати сенс.

Здається, функція корисності тут не тільки кардинальна, але навіть визначена за шкалою співвідношення. Розглянемо два результати з утилітами 1/4 та 3/4. Зрозуміло, що ми можемо застосувати афінну трансформацію: в цьому випадку утиліти стають 0 і 1. Однак тепер ми змінили ентропію з суто позитивного значення на нулеве!$v=v*2-0.5$

Таким чином, вам потрібно спочатку надати значущу шкалу співвідношення до вашої утиліти. Один із способів зробити це - дати інтерпретацію природного рівня 0 корисності. Без цієї специфікації ентропія є безглуздою.