Типовий набір концепції

Я вважав, що концепція типового набору є досить інтуїтивно зрозумілою: послідовність довжини $n$ належить до типового набору $A_\epsilon ^{(n)}$ якщо ймовірність виходу послідовності буде великою. Отже, будь-яка послідовність, яка, ймовірно, була б в $A_\epsilon ^{(n)}$ . (Я уникаю формального визначення, пов'язаного з ентропією, тому що я намагаюся його зрозуміти якісно.)

Однак я прочитав, що, як правило, найімовірніша послідовність не належить до типового набору. Це заплутало мене великий час.

Чи існує інтуїтивне визначення типового набору? Або це просто математичний інструмент, який не має великого відношення до здорового глузду?

Я знаю, що ви явно попросили інтуїтивне пояснення і залишити поза формальним визначенням, але я думаю, що вони досить пов'язані, тому дозвольте мені згадати визначення типового набору:

$X_1, X_2 ,...$єIIDвипадкові величини$\sim$ $p(x)$ , то типовий набір ( п ) ε щодо р ( х ) є безліч послідовностей ( х 1 , х 2 , . . . , х п ) ∈ х п з властивістю 2 - n ( H ($A_\epsilon^{(n)}$$p(x)$$(x_1,x_2,...,x_n) \in \chi^n$

$$2^{-n(H(X)+\epsilon)}\le p(x_1,x_2,...,x_n) \le 2^{-n(H(X)-\epsilon)} \tag{1}$$ Це означаєщо при фіксованому$\epsilon$, типовий набір складається з усіх послідовностей, ймовірності якихблизькадо$2^{-nH(X)}$ . Тому для того, щоб послідовність належала до типового набору, вона просто повинна мати ймовірність, близьку до$2^{-nH(X)}$ , як правило, це не відбувається. Щоб зрозуміти чому, дозвольте мені переписати рівняння 1, застосувавши на ньому$log_2$ .

$$H(X)-\epsilon\le \frac{1}{n}\log_2\left(\frac{1}{p(x_1,x_2,...,x_n)}\right) \le H(X)+\epsilon \tag{2}$$

Тепер визначення типового набору більш безпосередньо пов'язане з поняттям ентропії, або заявлено іншим способом, середньою інформацією випадкової величини. Середній термін можна розглядати в якості зразка ентропії послідовності, таким чином, типовий набір виконаний всіх послідовності, які дають нам кількість інформації , близькою до середньої інформації випадкової величини $X$ . Найбільш вірогідна послідовність зазвичай дає нам менше інформації, ніж середня. Пам’ятайте, що чим менша ймовірність результату, тим вищою буде інформація, яку вона нам надає. Щоб зрозуміти, навіщо мені навести приклад:

Припустимо, ви живете в місті, погода з великою ймовірністю буде сонячною і теплою, між 24 ° C і 26 ° C. Ви можете дивитись звіт про погоду щоранку, але вас це мало би турбує, я маю на увазі, це завжди сонячно і тепло. Але що робити, коли колись погода чоловік / жінка скаже тобі, що сьогодні буде дощово і холодно, це зміна гри. Вам доведеться користуватися різним одягом, брати парасольку і робити інші речі, яких зазвичай не роблять, тож чоловік погоди дав вам справжню важливу інформацію.

Підсумовуючи, інтуїтивне визначення типового набору полягає в тому, що він складається з послідовностей, які дають нам кількість інформації, близьку до очікуваної однієї з джерел (випадкова величина).

Відповідь Дієгобатта допомагає інтуїтивно пояснити, що таке типовий набір. Ця відповідь стосуватиметься іншого питання ОП, підголошеного @tomwesolowski: чому б ви визначили типовий набір таким чином, що може виключати найбільш вірогідні елементи?

Коротка відповідь полягає в тому, що типовий набір - це насамперед математичний інструмент. Це було визначено, щоб допомогти довести щось, і це визначення є найбільш зручним для доказу. Це хороший приклад того, як теоретичні потреби іноді можуть перемогти інтуїтивні переваги в математиці.

Типовий набір був визначений батьком теорії інформації , Клод Шеннон . Він хотів визначити, наскільки ефективно можна, можливо, кодувати потік символів із фіксованого алфавіту, припускаючи, що кожен символ є iid випадковим вибірком з деякого розподілу. Його ключовою думкою було:

1. Існує легко визначити порівняно невеликий набір «типових» послідовностей, які з’являються непропорційно часто в потоці.
2. Призначаючи цей "типовий набір" послідовностей, найкоротші кодування дають оптимально ефективне кодування (асимптотично, оскільки вихід потоку довільно зростає).

Типовий набір, який виявив Шеннон, складається саме з послідовностей, чия самоінформація , або "дивовижність", приблизно така сама, як і самоінформація, що очікується в середньому для розподілу джерела потоку. Такі послідовності є "типовими" в тому сенсі, що їх інформація приблизно середня, але це визначення неявно виключає ті послідовності, які мають значно менше інформації, ніж середнє. Ці менш інформативні послідовності також є найбільш вірогідними.

Як зазначає ОП, це не є інтуїтивно привабливим! На обличчі типовий набір звучить так, що він повинен містити всі найбільш ймовірні послідовності до деякого порогу. Це краще відображатиме те, що зазвичай видно в потоці.

Але Шеннон не хотів найбільш "типового" можливого типового набору; він хотів одного спростив довести результат, який він хотів довести. Типовий набір, визначений Шенноном, гарантовано існує, він гарантовано малий, і він гарантовано буде приблизно таким же малим, як і будь-який інший набір, який ви можете запропонувати, як ця відповідь вказує . Додавання найімовірніших елементів робить набір більш імовірним, що добре, але це також робить набір більшим, що погано. Якщо все, що вам важливо, - це зробити ваші докази, навіщо виправляти те, що не порушено?

Якщо у вас інші цілі, ніж у Шеннона, ваша краща концепція типовості може бути різною. Наприклад, у кодуванні Хаффмана найімовірніші символи (або послідовності символів) отримують найкоротші коди. У певному технічному сенсі кодування Хаффмана є оптимальним рішенням оригінальної проблеми Шеннона, і воно краще фіксує нашу інтуїцію щодо типовості. З іншого боку, визначення типовості Шеннона зручніше для доведення речей.

Ідея типового набору неявно розглядає підсумкові послідовності як мультисети, тобто передбачає, що ви просто дбаєте про гістограму кожної послідовності, наприклад, ви розглядаєте всі 10 послідовностей викидання монет із 7 головами та 3 хвостами як рівнозначні.

$p(H) = .9$ . Це просто біноміальний розподіл. Найбільш вірогідна послідовність 100 кидок - 100 голів, але є лише 1 100 послідовностей головок. Є експоненціально набагато більше послідовностей, що містять 10 хвостиків, але вони набагато менш вірогідні окремо. Найбільша кількість послідовностей - з напівголовами та напівхвостами, але вони ще менш імовірні. Тож існує ймовірність між ймовірністю окремих послідовностей та кількістю еквівалентних послідовностей у класі. Максимальна ймовірність досягається, коли частоти в послідовностях відповідають ймовірності.

Важливим результатом є те, що для досить довгих послідовностей майже всі вибіркові послідовності повинні бути довільно близькими до очікуваних частот, тобто розподіл стає надзвичайно піковим у міру збільшення тривалості розглянутих послідовностей.

$10^5$$P(H)=.9$$10^4{+/-}300$

Типовий набір - це більш загальна, інформаційно теоретично визначена версія цієї ідеї.

Відповідно до теореми 6.3 в цих лекційних зауваженнях, незалежно від того, чи будемо ми брати підмножину послідовностей з найбільшою ймовірністю або тих, що мають ймовірність, близьку до$2^{-nH(X)}$ (з типового набору) ми повинні взяти приблизно $2^{nH}$щоб переконатися, що вибраний підмножина містить випадкову послідовність з високою ймовірністю. Ми зазвичай беремо типові набір елементів, тому що ми можемо зв'язати розмір легше.