Якщо дані , тобто, п -послідовність з зразка простору X , емпіричні ймовірності точкових
р ( х ) = 1хн= х1… ХннХ
длях∈Х. Тутδx(xi)- один, якщоxi=x,а в іншому випадку нуль. Те є, р (х)є відносна частотахв спостережуваної послідовності. Ентропіїрозподілу ймовірностей даного емпіричними точкових ймовірності
Н( р )=-Σ
p^( х ) = 1н| {i∣ xi= x } | = 1н∑i = 1нδх( хi)
x ∈ Xδх( хi)хi= хp^( х )х
Остання рівність слід перестановкою дві суми і з огляду нащо
Σх∈ Х δх(хя)лог р (х)=лог р (хя).
З цього ми бачимощо
Н( р )=-1Н( с^) = - ∑x ∈ Xp^( x ) журналp^( x ) = - ∑x ∈ X1н∑i = 1нδх( хi) журналp^( х ) = - 1н∑i = 1нжурналp^( хi) .
∑x ∈ Xδх( хi) журналp^( x ) = журналp^( хi) .
з
р (хп)=П п I = 1 р (хя)івикористанням термінології від питання це емпірична ентропія
емпіричного розподілу ймовірностей. Як зазначив @cardinal у коментарі,
-1Н( с^) = - 1нжурналp^( хн)
p^( хн) = ∏нi = 1p^( хi)- емпірична ентропія заданого розподілу ймовірностей з точковими ймовірностями
p.
- 1нжурналр ( хн)p