Ентропійне спростування Байєсової стрілки назад Шадозі, парадокс часу?


31

У цій роботі талановитий дослідник Косма Шалізі стверджує, що для повного прийняття суб'єктивного байєсівського погляду необхідно також прийняти нефізичний результат того, що стрілка часу (дана потоком ентропії) насправді повинна йти назад . Це в основному спроба сперечатися проти максимальної ентропії / повністю суб'єктивного байєсівського погляду, висунутого та популяризованого Е.Т. Джейнес .

Більш на LessWrong , багато учасників дуже зацікавлені в теорії ймовірностей байєсівського , а також в суб'єктивному байєсівського підходу в якості основи для формальних теорій прийняття рішень і сходинкою по відношенню до сильних ІІ Юдківська є загальним фактором, і я недавно читав цей пост , коли я натрапив на цей коментар (кілька інших хороших коментарів з’являються незабаром після нього на сторінці оригіналу публікації).

Хтось може прокоментувати обґрунтованість спростування Юдьковського Шалізі. Коротко кажучи, аргумент Юдковського полягає в тому, що фізичний механізм, за допомогою якого міркувач оновлює свої переконання, вимагає роботи, а отже, має термодинамічну вартість, яку Шалізі підмітає під килим. В іншому коментарі Юдковський захищає це, кажучи:

"Якщо ви сприймаєте перспективу логічно всезнаючого досконалого спостерігача поза системою, поняття" ентропія "є майже безглуздим, як і" ймовірність "- вам ніколи не доведеться використовувати статистичну термодинаміку для моделювання чого-небудь, ви просто використовуєте детерміновану точну хвильове рівняння ".

Чи можуть прокоментувати це будь-які ймовірні спеціалісти чи статистичні механіки? Мені не дуже важливі аргументи влади щодо статусу Шалізі чи Юдковського, але я хотів би побачити короткий виклад способів, які три точки Юдковського пропонують критику до статті Шалізі.

Щоб відповідати настановам FAQ і зробити це конкретно відповідальним запитанням, зауважте, що я прошу конкретної деталізованої відповіді, яка бере триступінчастий аргумент Юдковського та вказує, де в статті Шалізі ці три кроки спростовують припущення та / або виведення, або, з іншого боку, вказує, де в роботі Шалізі розглядаються аргументи Юдьковського.

Я часто чув, як стаття Шалізі рекламується як залізне доказ, що повноцінного суб'єктивного байєсіанства не можна захистити ... але, прочитавши статтю Шалізі кілька разів, це виглядає як іграшковий аргумент для мене, який ніколи не міг застосувати спостерігачеві, який взаємодіє з тим, що спостерігається (тобто всією фактичною фізикою). Але Шалізі - чудовий дослідник, тому я б вітав другу думку, тому що дуже ймовірно, що я не розумію важливих фрагментів цієї дискусії.


10
Шалізі любить бути провокаційним ... його аргумент, здається, є таким же, як і креаціоністський аргумент, що еволюція порушує другий закон термодинаміки, оскільки організми "пізніше" є більш складними в організованому вигляді, ніж "раніше" організми, але другий закон говорить, що ентропія не зменшується. Однак 1) у другому законі немає нічого, що перешкоджає локальному зменшенню ентропії, і 2) аргумент передбачає, що ніхто не може дізнатися нічого про що-небудь (чому ж навчання через байєсівське оновлення має бути інакшим, ніж будь-який інший процес навчання?)
jbowman

4
Мені б не доводилося обробляти дебати між Шалізі та Юдковським; не є авторитетом. (Хоча Shalizi добре пише.) Як би там не було, ви вважаєте, Physics.se є кращим місцем для цього питання?
Емре

1
Ви читали багато публікацій з послідовності Юдковського? Я думаю, що він теж дуже добре пише. Обидві ці фігури мають суперечливі позиції, але Шалізі, здається, справді має це для суб'єктивного байєсіанства. Причина, яку я тут запитав, полягає в тому, що вона глибоко пов'язує документ із більш чисто теоретичною статтею, яку Шалізі написав з Ендрю Гелманом, яка також пронизана філософськими проблемами (хоча Гельман - тотальний фахівець, коли справа стосується практики). ( посилання )
ely

1
Я намагався поставити це до рівнянь, але, здається, це ще не роблю. Я думаю, що найбільшою проблемою Шазілі є його друге припущення в розділі 1, а саме те, що ви можете просто оновити (випадкову) фазову точку за допомогою Правила Байєса. Як зазначає Юдковський, це нехтує тим фактом, що коли ви знову вимірюєте і оновлюєте свій початковий розподіл, ви повинні додати свій внесок у систему ...X
Нестор,

... і це буває у багатьох формах: намагання контролювати свою систему (яка є унікальною щоразу, що робить проблему, можливо, по суті стохастичною; у такому випадку поняття ентропії не мало б сенсу ... можливо, ми повинні говорити про коефіцієнт ентропії?). Я намагався переконати себе, що цей внесок можна моделювати як лінійне перетворення фазового точкового вектора : це пояснило б, що нерівність, яку використовує Шазілі, не є дійсною, оскільки отримана ентропія мала б додатковий термін ( логарифм визначника лінійного перетворення). X
Нестор

Відповіді:


16

Якщо коротко: 1: 0 для Юдковського.

Cosma Shalizi вважає розподіл ймовірності, який піддається деяким вимірам. Він відповідно оновлює ймовірності (тут не важливо, чи це Байєнське висновок чи щось інше).

Не дивно, що ентропія розподілу ймовірностей зменшується.

Однак він робить неправильний висновок, що це щось говорить про стрілку часу:

Ці припущення обертають стрілку часу, тобто вони роблять ентропію не зростаючою.

Як було зазначено в коментарях, важливим для термодинаміки є ентропія закритої системи . Тобто, згідно з другим законом термодинаміки , ентропія закритої системи не може зменшитися. Це нічого не говорить про ентропію підсистеми (або відкритої системи); інакше ти не міг би використовувати свій холодильник.

І коли ми вимірюємо sth (тобто взаємодіємо і збираємо інформацію), це вже не закрита система. Або ми не можемо використовувати другий закон, або - нам потрібно розглянути закриту систему, що складається з вимірюваної системи та спостерігача (тобто нас самих).

Зокрема, коли ми вимірюємо точний стан частинки (тоді як раніше ми знали її розподіл), ми дійсно знижуємо її ентропію. Однак для зберігання інформації нам потрібно збільшити нашу ентропію хоча б на стільки ж (зазвичай, це величезні накладні витрати).

Тож Елієзер Юдковський робить хороший момент:

1) Вимірювання використовують роботу (або принаймні стирання під час підготовки до наступної роботи вимірювання).

Власне, зауваження про роботу тут не найважливіше. Хоча термодинаміка стосується (або торгує) ентропії з енергією, ви можете обійтись (тобто нам не потрібно вдаватися до принципу Ландауера , до якого Шалізи скептично ставиться ). Щоб зібрати деяку нову інформацію, потрібно стерти попередню інформацію.

Щоб відповідати класичній механіці (і також квантовій), ви не можете зробити функцію довільно відображаючи що-небудь на всі нулі (без побічних ефектів). Ви можете зробити функцію, яка відображає вашу пам'ять на всі нулі , але в той же час скидає інформацію кудись, що ефективно збільшує ентропію середовища.

(Сказане вище походить від гамільтонової динаміки - тобто збереження фазового простору в класичному випадку та унітарність еволюції в квантовому випадку.)

PS: Трюк на сьогодні - "зменшення ентропії":

  • Переверніть неупереджену монету, але не дивіться на результат ( біт).H=1
  • Відкрий свої очі. Тепер ви знаєте його стан, тому його ентропія біт.H=0

1
правильна версія доктора: "Папір Шалізі - це лише спеціалізований переказ демона Максвелла"?
Артем Казнатчеєв

@ArtemKaznatcheev В основному так. Але більше на смак закриті проти відкритих систем. Але для тих, хто не любить читати, є перший рядок;).
Пьотр Мігдал

Мені подобається ця відповідь, але мені важко примиритися з дискусією на іншій темі. Подивіться на це посилання та знайдіть тему / відповідь, розпочату користувачем "прагматик". Якщо ви додасте абзац або два, які адресують цей аргумент (або пояснюють, чому цей аргумент дійсний / не згоден з вашою відповіддю вище), я з радістю прийму.
ely

@EMS Ну, "Не могли б ви прокоментувати дискусію?" не найкраще підходить для SE (і взагалі є багато аргументів). Більше того, я фактично виправдав критику статті Шалізі. У тому числі і критика критики критики статті вимагає занадто багато. Чи можете ви бути більш конкретними, тобто точними точками? Однак: "Коли ми робимо статистичну механіку, нас зазвичай не цікавить ентропія системи плюс спостерігач" - помилково (відкриті проти закриті системи), "еволюція системи не буде унітарною" - правда, але навіть класично ви не можете зменшення загальної ентропії.
Піотр Мігдал

@EMS Принцип стирання глибший ніж stat. мех. - як я вже говорив, якщо це не задовольняє, це спростовує квантову та класичну механіку. І ще раз: ви не можете застосовувати правила до закритих систем до відкритих систем - тому більшість аргументів прагматика або не є науковими (тобто в що вірити чи ні) або нехтують фізикою.
Пьотр Мігдал

4

Вада Шалізі є дуже основною і випливає з припущення I, що еволюція часу є незворотною (оборотною).

Еволюція часу ІНДИВІДУАЛЬНИХ станів є оборотною. Часова еволюція розподілу по ВСІМ ФАЗАЛЬНОМУ ПРОСТОРІ, безумовно, не оборотна, якщо система не перебуває в рівновазі. У статті розглядається еволюція розподілу часу по всьому фазовому простору, а не в окремих станах, і тому припущення про неперевернутість є абсолютно нефізичним. У випадку рівноваги результати тривіальні.

Стрілка часу випливає з цього факту, насправді, що еволюція розподілів часу не є оборотною (причина градієнтів падає, а гази поширюються). Незворотність, як відомо, виникає внаслідок "умов зіткнення"

Якщо взяти це до уваги, його аргумент розпадається. Інформаційна ентропія = термодинамічна ентропія, поки що. : D


1
Оскільки на фундаментальному рівні QM є детермінованим - рівняння Шродінгера точно описує, як система розвивається в часі, і щодо цього немає ніякої невизначеності - і це лінійно , здавалося б, що оборотність в еволюції окремих держав негайно означатиме оборотність у будь-яке поширення таких станів. Тому я хотів би бачити ваше математичне обґрунтування вашого твердження протилежним, оскільки це чіткіше покаже те, що ви зараз лише неявно припускаєте щодо динамічних рівнянь.
whuber

Для рівноважного розподілу речі тривіальні, еволюція часу оборотна. Для дисипативної системи, де об'єм фазового простору не є постійним, багато станів початкового розподілу можуть бути відображені в єдиний стан кінцевого розподілу, або навпаки (більше не оборотні). Це зрозуміло у випадку, наприклад, вільного розширення ідеального газу. Рух кожної окремої частинки явно оборотно, але саме розширення не відбувається, оскільки передбачає зміну об'єму фазового простору. Газ ніколи не розширюється. Якщо ви все ще не задоволені, я можу розробити для вас математику.
Етан

Оскільки ви звинувачуєте Шалізі в тому, що помиляєтеся, пропонувати якусь об’єктивну математичну підтримку було б хорошою ідеєю. Але будьте обережні, щоб не відставати занадто далеко від уваги цього веб-сайту, що стосується аналізу даних, а не фізики! Проте, вільний приклад розширення , здається , не визначає мені, тому що в (гіпотетичний) компактної Всесвіту, здається , немає такого поняття: газ розширюється в іншому місці .
whuber

Правильно іноді я забуваю, на якій стак-зміні я перебуваю. Можливо, я щось там розпочну. Але для газу зміна ентропії TdS = dU + pdV, але dU дорівнює нулю - це ми адіабатичні, так dS = pdV / T. За законом ідеального газу dS = nRdV / V тому перехід від v1 до v2 змінює ентропію на ln (v2 / v1). В основному всі спонтанні макроскопічні процеси (тобто відтворювані) незворотні. Але, можливо, отримання цього принципу не є банальним (Болтцман витратив на це своє життя)
Етан

3

Зв'язаний папір прямо передбачає це

Оператор еволюції T є зворотним.

Але якщо ви використовуєте QM звичайним способом, то це припущення не відповідає. Припустимо, у вас є стан X1, який може перетворитися в X2 або X3 з однаковою ймовірністю. Ви б сказали, що стан X1 перетворюється на зважений набір [1/2 X2 + 1/2 X3]. Shalizi доводить, що цей набір не має більше ентропії, ніж X1.

Але ми, як спостерігачі, або як частина цієї системи, лише дивимось на одну з гілок - X2 чи X3. Вибір того, який із цих двох гілок ми шукаємо, додає ще один біт нової ентропії, і цей вибір не є зворотним. Звідси походить збільшення ентропії з часом. Те, що зробив Shalizi, - це використовувати математику, в якій вся ентропія бере свій початок у квантовому розгалуженні, а потім забувати, що відбувається квантове розгалуження.


2
У роботі (як другий закон) йдеться про закриті системи. Квантова механіка повністю оборотна в закритій системі (тобто всі оператори є єдиними). Єдина незворотна операція в квантовій механіці - це вимірювання; якщо виміряти закриту систему, вона більше не закрита з точки зору термодинаміки. Якщо ваш спостерігач знаходиться всередині системи і вимірює підсистему, то спостерігач + підсистема розвивається нерозривно разом, і, таким чином, операція є незворотною (ця хитрість неофіційно називається "Церква великого простору Гільберта"). Таким чином, ваш аргумент від "QM" неправильний.
Артем Казнатчеєв

1
Це лише в тому випадку, якщо ви вірите копенгагенській інтерпретації, хоча (або інші, що відокремлюють «вимірювання» від унітарних процесів). Багато світів вважають, що вимірювання - це лише звичайні унітарні закони, а отже, є ідеально оборотними; це лише артефакт початкового стану Всесвіту, який, ймовірно, навряд чи побачить його зворот (я, можливо, не дуже пояснюю це, я не фізик). У жодному разі я не переконаний, що цю відповідь слід оскаржувати через цю критику.
ely

1
@EMS Не має значення, якою інтерпретацією ви користуєтеся, QM закритої системи є оборотним. Але в більш широкому контексті оригінального питання, подробиці того, хто відповів, що помиляється щодо QM, не має значення: Шалізі вже розглядає цю точку в розділі II.A в більш загальному розумінні; навіть правильна форма цієї відповіді не виходить за межі недоліків, які вказує сам Шалізі.
Артем Казнатчеєв

1
Як уже згадувалося в іншій темі, що обговорює це, ця відповідь виявляється просто зворотньою стороною іншої відповіді: якщо ви наполягаєте на закритій системній вимозі, ви повинні знайти своє джерело ентропії (тобто "закрита система" Шалізі повинна включати людина, яка має трохи ентропії за те, що "трапляється вниз по одній (невідомій) гілці двох гілок". Тобто, схоже, ця відповідь також говорить про те, що папір Шалізі - це лише переказ демона Максвелла. Знову ж, я можу нерозуміння цього через відсутність формальної підготовки з фізики
ely
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.