Інформаційна теорія, яка використовується для доказу акуратних комбінаторних тверджень?

Які ваші улюблені приклади, коли теорія інформації використовується для доведення чіткого комбінаторного твердження простим способом?

Деякі приклади , які я можу думати про те , пов'язані з нижніх меж для локально декодуємих кодів, наприклад, в цій статті: припустимо , що для зв'язки довічних рядків довжини n справедливо, що для кожного i , для k i різних пар { j 1 , j 2 }, e i = x j 1 ⊕ x j 2 . Тоді m є щонайменше експоненціальним у n, де показник лінійно залежить від середнього відношення $x_1,...,x_m$$n$$i$$k_i$$j_1,j_2$

Інший (споріднений) приклад - деякі ізопериметричні нерівності булевого куба (не соромтеся детальніше пояснювати це у своїх відповідях).

У вас є більше приємних прикладів? Переважно, короткий і легкий для пояснення.

Доказ Мозера про конструктивну локальну лему Ловаша . Він в основному показує, що в умовах локальної леми другий найпростіший алгоритм для SAT можна придумати твори. (Першим найпростішим може бути просто спробувати випадкове призначення, поки одна не працює. Друга найпростіша - це вибрати вибір випадкового завдання, знайти незадовільний пункт, задовольнити його, а потім подивитися, які ще пункти ви зламали, повторили та повторіть до завершення.) Доказ того, що це працює в поліноміальний час, - це, мабуть, найелегантніше використання теорії інформації (або складності Колмогорова, як би ви цього не хотіли назвати), я коли-небудь бачив.

Мій улюблений приклад цього типу - докази лемми Шерера на основі ентропії. (Я дізнався про цей доказ і про кілька інших дуже гарних з Ентропії та підрахунку Джайкумара Радхакришнана .)

Претензія: Припустимо, у вас є точок в R 3, які мають n x чітких проекцій на площині y z , n y різних проекцій на площині x z і n z різних проекцій на площину x y . Тоді n 2 ≤ n x n y n z .$n$$\mathbb{R}^3$$n_x$$yz$$n_y$$xz$$n_z$$xy$$n^2 \leq n_x n_y n_z$

Доведення: Нехай - точка, рівномірно обрана навмання з n точок. Нехай p x , p y , p z позначають його проекції на площини y z , x z і x y відповідно. $p = (x,y,z)$$n$$p_x$$p_y$$p_z$$yz$$xz$$xy$

З одного боку, , Н [ р х ] ≤ лог п х , Н [ р у ] ≤ увійти п у і Н [ р г ] ≤ увійти п г , основними властивостями ентропії.$H[p] = \log n$$H[p_x] \leq \log n_x$$H[p_y] \leq \log n_y$$H[p_z] \leq \log n_z$

З іншого боку, маємо а також H [ p x ] = H [ y ] + H [ z | y ] H [ p y ] = H [ x ] + H [

$2 \log n \leq \log n_x + \log n_y + \log n_z$$n^2 \leq n_x n_y n_z$

$p$$(L\cup R, E)$$\prod_{v \in L} (d(v)!)^{1/d(v)}$

• $M$$H(M) = \log p$
• $v \in L$$X_v$$R$$v$$M$
• $X = (X_v : v \in L)$$M$$H(M) = H(X)$
• $\leq$$L$$H(X) = \sum_{v\in L} H(X_v | { X_u : u < v }, \leq)$
• ${X_u : u < v}, \leq$$N_v = |N(v) \setminus { X_u : u < v }|$$v$
• $N_v$$H(X_v | { X_u : u < v }, \leq) = H(X_v | { X_u : u < v }, \leq, N_v)$
• ${X_u : u < v}, \leq$$H(X_v | { X_u : u < v }, \leq, N_v) \leq H(X_v | N_v)$
• $N_v$${1,\dots, d(v)}$
• $H(X_v | N_v)$$N_v$$H(X_v | N_v) = \sum_{i=1}^{d(v)} \frac{1}{d(v)}H(X_v|N_v=i) \leq \frac{1}{d(v)}\sum_{i=1}^{d(v)}\log i = \log((d(v)!)^{1/d(v)}).$
• Результат випливає, поєднуючи всі нерівності разом і беручи показники.

$G$$\prod_{v \in V(G)} (d(v)!)^{1/2d(v)}$

Дуже приємні приклади містяться у двох працях Піппенгера Інформаційно-теоретичний метод комбінаторної теорії. Дж. Гребінь. Теорія, сер. A 23 (1): 99-104 (1977) та ентропія та перерахування булевих функцій. Угоди IEEE з інформаційної теорії 45 (6): 2096-2100 (1999). Власне, декілька робіт Піппенджера містять милі докази комбінаторних фактів за допомогою ентропії / взаємної інформації. Також дві книги: Jukna, Extremal Combinatorics With Applications in Computer Science та Aigner, Combinatorial Search мають кілька прикладних прикладів. Мені також подобаються два документи Madiman et al. Інформаційно-теоретичні нерівності в адитивній комбінаториці та оцінки Теренс Дао, логічний підсумок ентропії (їх можна знайти за допомогою Google Академії). Сподіваюся, це допомагає.

Ще одним чудовим прикладом є почергове підтвердження лемми регулярності графа Семереді Террі Тао . Він використовує інформаційно-теоретичну перспективу, щоб довести сильну версію леми регулярності, яка виявляється надзвичайно корисною у своєму доказі лемматичності регулярності для гіперграфів . Доказ Дао є, безумовно, самим стислим доказом леми щодо регулярності гіперграфа.

Дозвольте спробувати пояснити на дуже високому рівні цю інформаційно-теоретичну перспективу.

$G$$V_1$$V_2$$V_1 \times V_2$$G$$\rho = |E|/|V_1||V_2|$$G$$\epsilon$$U_1 \subseteq V_1$$U_2 \subseteq V_2$$U_1$$U_2$$\rho \pm \epsilon |U_1||U_2|/|V_1||V_2|$

$x_1$$V_1$$x_2$$V_2$$\epsilon$$U_1, U_2$$\epsilon$$G$$x_1$$U_1$$x_2$$U_2$$(x_1,x_2)$$G$$x_1$$U_1$$x_2$$U_2$$(x_1,x_2)$

$V_1$$V_2$$U_1 \subset V_1, U_2 \subset V_2$$U_1 \times U_2$$\epsilon$$x_1$$x_2$$E(x_1,x_2)$$U_1(x_1)$$U_2(x_2)$$U_1$$U_2$$E$$x_1 | U_1$$x_2 | U_2$$x_1$$x_2$

В основному цілий курс, присвячений цьому питанню:

https://catalyst.uw.edu/workspace/anuprao/15415/86751

Курс ще триває. Тож не всі замітки доступні на момент написання цього тексту. Також були згадані деякі приклади з курсу.

$n$$\ell_2^d$$1 \pm \epsilon$$d$$O(\log n / \epsilon^2)$$\Omega(\log n / (\epsilon^2 \log(1 / \epsilon)))$$\sim \log(1 / \epsilon)$

$m$$u \in [m]$$x \in [m]$$x=u$$t$$t$

$O(m^{1/t})$$\log m$$u$$t$$i \in [t]$$(\log m)/t$$i$$u$

Тепер для нижньої межі. Дозволяє$X$$[m]$$H[X] = \log m$$X_1, \dots, X_t$$t$$H[X] = H[X_1] + H[X_2 | X_1] + \cdots + H[X_t | X_1, \dots, X_{t-1}] \leq t \log s$$s$$s \geq m^{1/t}$

$t > 1$

$P$$P$$O(\log |X|)$$X$$P$

Аналіз середніх випадків алгоритмів, що використовують складність Колмогорова , Цзян, Лі, Вітаній.

«Аналіз середньої складності алгоритмів є дуже практичною, але дуже складною проблемою в інформатиці. За останні кілька років ми продемонстрували, що складність Колмогорова є важливим інструментом для аналізу середньої складності алгоритмів. Ми розробили метод несприйнятливості [7]. У цій роботі ми використовуємо кілька простих прикладів для подальшої демонстрації сили та простоти такого методу. Ми доводимо межі середньої кількості стеків (черг), необхідних для сортування послідовних або паралельних Queueusort або Stacksort. '

Див., Наприклад, Складність Колмогорова та трикутна проблема типу Хайльброна .

Еквівалентність вибірки та пошуку Скоттом Ааронсоном. Тут він демонструє еквівалентність проблеми вибірки та пошуку в теорії складності щодо обгрунтованості дисертації Церкви Тюрінга. Стандартна теорія інформації, алгоритмічна теорія інформації та складність Колмогорова використовуються фундаментально.

Він підкреслює:
" Підкреслимо, що ми не використовуємо складність Колмогорова як просто технічну зручність або як скорочення для аргументу рахунку. Швидше, складність Колмогорова здається важливою навіть для визначення проблеми пошуку ".

Цей простий, а також наближений: скільки комбінацій 10 ⁶ речей з 10 ⁹ , що дозволяє дублювати? Правильна формула така

N = (10 ⁶ + 10 ⁹ )! / (10 ⁶ ! 10 ⁹ !) ~ = 2 ^{11409189.141937481}

Але уявіть собі, як давати вказівки ходити по ряду мільярдів відер, опускаючи мільйон мармуру у відра по дорозі. Буде ~ 10 ⁹ "крок до наступного відра" інструкції та 10 ⁶ "крапля мармуру" інструкції. Загальна інформація є

log ₂ (N) ~ = -10 ⁶ log ₂ (10 ⁶ / (10 ⁶ + 10 ⁹ )) - 10 ⁹ log ₂ (10 ⁹ / (10 ⁶ + 10 ⁹ )) ~ = 11409200.432742426

Це смішний, але досить хороший спосіб наблизити до (журналу) підрахунку. Мені це подобається, бо це працює, якщо я забуду робити комбінаторику. Це рівнозначно сказати це

(а + б)! / а! б! ~ = (a + b) ^{(a + b)} / a ^a b ^b

що на зразок використання апроксимації Стірлінга, скасування та пропущення чогось.

Дуже приємне нещодавнє додаток, яке дає верхні межі для великої перестановки від Linial та Luria, тут: http://www.cs.huji.ac.il/~nati/PAPERS/hd_permutations.pdf