що означає числова інтеграція занадто дорого?

Я читаю про байєсівські умовиводи і натрапив на фразу "числова інтеграція граничної ймовірності занадто дорога"

У мене немає досвіду математики, і мені було цікаво, що саме тут означає дороге ? Це просто з точки зору обчислювальної потужності чи є щось більше.

— дискретний час
джерело

Це означає, що для цього потрібна занадто велика обчислювальна потужність, можливо, з точки зору часу процесора (оскільки всі обчислювальні ресурси по суті є або пам'яттю, або процесором).

— Sycorax повідомляє про відновлення Моніки

Власне, пропускна здатність зв'язку іноді може стати проблемою (наприклад, між кешем / оперативною пам’яттю / диском послідовно або паралельно між обчислювальними вузлами).

— GeoMatt22

Це означає, що для обчислення потрібно один занадто багато часу для одного комп’ютера, нашого для мережі комп’ютерів.

— Джек Мадінгтон

І якщо гранична ймовірність потрібна всередині якогось циклу, те, що вважається занадто дорогим, набагато менше. Напр. 1-секундний процес інтеграції звучить швидко, але він може бути "занадто дорогим", якщо вам потрібно зробити це 1 мільйон разів ...

— Меттью Ганн

Дорога з точки зору обчислювальних зусиль, тому що для її обчислення потрібно більше зусиль, ніж ви можете собі дозволити, оскільки це займає занадто багато часу або потребує занадто багато процесорів, щоб виконати їх у розумний час.

— користувач253751

Відповіді:

У контексті обчислювальних задач, включаючи числові методи байєсівського висновку, словосполучення "занадто дорого" взагалі може стосуватися двох питань

Зокрема проблема занадто «великий» , щоб обчислити для конкретного « бюджету »
загальний підхід масштабується погано, тобто має високу обчислювальну складність

В будь-якому випадку обчислювальні ресурси, що містять "бюджет", можуть складатися з таких елементів, як цикли процесора ( складність часу ), пам'ять ( складність простору ) або пропускна здатність зв'язку ( всередині або між обчислювальними вузлами). По-друге, "занадто дорогий" означав би непереборний характер .

В контексті байєсівських обчислень, цитата, ймовірно, стосується питань з маргіналізацією щодо великої кількості змінних .

Наприклад, конспект цієї недавньої роботи починається

На інтеграцію впливає прокляття розмірності і швидко стає незрозумілим у міру зростання розмірності проблеми.

і продовжує говорити

Ми пропонуємо рандомізований алгоритм, який ... в свою чергу може бути використаний, наприклад, для граничних обчислень або вибору моделі.

(Для порівняння, в цій останній главі книги обговорюються методи, які вважаються "не надто дорогими".)

— GeoMatt22
джерело

Це чудова відповідь. Я лише додам, що "дороге" все частіше також може сприйматись буквально. - можна значно збільшити обчислювальну потужність і накопичувач (на рівні суперкомп'ютерів на стільки, скільки потрібно), дуже легко в наші дні (і досить дешево) ... але для великих проблем це все одно виявиться занадто дорогим - - тим, що це буде буквально коштувати більше фактичних грошей, ніж у вас є.

— Glen_b -Встановити Моніку

@Glen_b - це хороший момент! Я думаю, що це значення рідше зустрічається в опублікованій літературі ... але частіше зустрічається в пропозиціях (та їхніх оглядах!)

— GeoMatt22,

@ GeoMatt22 Це насправді інший спосіб викласти той же сенс, якщо ви задумаєтесь.

— користувач253751

@ GeoMatt22 Дякую! Я зараз прекрасно розумію, що означає дороге в байєсівському контексті.

— дискретний час

Я надам вам приклад дискретного випадку, щоб показати, чому інтеграція / сума надмірно дорога.

Припустимо, у нас є двійкових випадкових величин, і ми маємо спільний розподіл . (Насправді, неможливо зберігати спільний розподіл у таблиці, оскільки є значення. Припустимо, у нас це є в таблиці та в оперативній пам'яті.) $100$ $P(X_1, X_2, \cdots, X_{100})$ $2^{100}$

Для отримання граничного розподілу на нам потрібно підсумовувати інші випадкові величини. (У безперервному випадку вона інтегрується понад.) $P(X_1)$

P (X_{1}) = \sum_{X_{2}} \sum_{X_{3}} \dots \sum_{X_{100}} P (X_{1}, X_{2}, \dots, X_{100})

$P(X_1)=\sum_{X_2}\sum_{X_3}\cdots \sum_{X_{100}}P(X_1, X_2, \cdots, X_{100})$

Ми підсумовуємо понад змінних. Тому існує кількість експоненціаційних операцій, в даному випадку це , що є величезною кількістю, яку всі комп'ютери на землі не зможуть зробити. $99$ $2^{99}$

У імовірнісних графічних моделях літератури такий спосіб обчислення граничного розподілу називається підходом "грубої сили" для виконання "умовиводу". За назвою ми можемо знати, що це дорого. І люди використовують багато інших способів виконання висновку, наприклад, ефективне досягнення граничного розподілу. "Інші способи", включаючи приблизний висновок тощо.

— Хайтао Ду
джерело

Можливо, ви могли б також прокоментувати, чому баєсовський підхід тут корисний, як питання, поставлене в цьому контексті.

— Тім

Зазвичай при виконанні байєсівського висновку легко стикатися з важкою інтеграцією, наприклад, через неприємні змінні. Іншим прикладом може бути числовий вибірки, як у цьому випадку від функції ймовірності, що означає виконання випадкової вибірки з заданого розподілу. Зі збільшенням кількості параметрів моделі ця вибірка стає надзвичайно важкою і розроблені різні обчислювальні методи, щоб прискорити процедуру та дозволити дуже швидкі впровадження, зберігаючи, звичайно, високий рівень точності. Такі методи, наприклад, MC, MCMC, Metropolis ecc. Ознайомтесь з аналізом даних Байєса від Gelman et. al це має дати вам широке вступ! Щасти

— Lcol
джерело

Ця відповідь, схоже, не стосується головного питання ОП щодо значення "дорогого" в цьому контексті. Або принаймні не дуже чітко.

— Shufflepants

Коротке пояснення полягає в тому, щоб ознайомити читача зі значенням обчислювальної потреби при виконанні конкретного аналізу в Баєсовій статистиці, оскільки він заявив, що він не є математиком. У будь-якому випадку сподіваюся, що це комусь було зрозуміло

— Lcol