Параметри проти прихованих змінних

Я раніше про це запитував і справді боровся з визначенням того, що робить параметр моделі, а що робить його прихованою змінною. Отож, дивлячись на різні теми на цій темі на цьому сайті, головна відмінність виглядає так:

Латентні змінні не спостерігаються, але мають пов'язаний з ними розподіл ймовірностей, оскільки вони є змінними, а параметри також не спостерігаються і не мають пов'язаного з ними розподілу, який я розумію, що це константи і мають фіксовану, але невідому величину, яку ми намагаємося знайти. Крім того, ми можемо поставити пріори на параметри, щоб представити нашу невизначеність щодо цих параметрів, навіть якщо з ними пов'язане лише одне справжнє значення або, принаймні, це те, що ми припускаємо. Я сподіваюся, що я маю рацію дотепер?

Тепер я розглядав цей приклад для зваженої лінійної регресії Байєса з журнальної статті і дуже намагався зрозуміти, що таке параметр, а що - змінна:

y_{i} = β^{T} x_{i} + ϵ_{y_{i}}

$y_i = \beta^T x_i + \epsilon_{y_i}$

Тут спостерігаються і , але тільки трактується як змінна, тобто пов'язане з нею розподіл. $x$ $y$ $y$

Тепер припущення моделювання такі:

y \sim N (β^{T} x_{i}, σ^{2} / w_{i})

$y \sim N(\beta^Tx_i, \sigma^2/w_i)$

Отже, дисперсія зважена. $y$

Існує також попередній розподіл на і , які є нормальними та гамма-розподілами відповідно. $\beta$ $w$

Отже, повну вірогідність журналу задають:

\log p (y, w, β | x) = Σ \log P (y_{i} | w, β, x_{i}) + \log P (β) + Σ \log P (w_{i})

$\log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i)$

Тепер, як я розумію, і і - параметри моделі. Однак у роботі вони продовжують посилатися на них як на приховані змінні. Моє міркування - і є і частиною розподілу ймовірності для змінної і вони є модельними параметрами. Однак автори трактують їх як латентні випадкові величини. Це правильно? Якщо так, якими були б параметри моделі? $\beta$ $w$ $\beta$ $w$ $y$

Документ можна знайти тут ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).

Стаття є автоматичним виявленням вищого типу: байєсівський підхід Тінг та ін.

— Лука
джерело

Це може допомогти перелічити цитування до статті (і, можливо, посилання). Частина проблеми полягає в тому, що саме це відрізняється з точки зору частот і байесів. З точки зору байєсівського, параметр робить мати розподіл - це не просто що - то додано , щоб представляти невизначеність.

— gung - Відновіть Моніку

Я думав, що це було б несправедливо, оскільки люди думають, що я очікую, що вони прочитають папір, не пояснюючи речей, але я це виклав зараз.

— Лука

Чому ви не можете поставити пріоритет на приховану змінну? Я початківець баєсів, але, здається, ви повинні це зробити.

— robin.datadrivers

Я думаю, що, безумовно, можна і в Байєсі. Однак я не впевнений, чому або є змінними в цьому налаштуванні. Мені вони виглядають як параметри моделі. У мене виникають проблеми з тим, щоб сказати, що саме це робить, скажімо, змінною, а не параметром у цій установці. Я і початківець, як ви добре бачите ...

w

$w$

β

$\beta$

w

$w$

— Лука

Дякую, @Luca. Було б не добре, якби ви вимагали від людей, щоб вони читали папери, але мати її там для контексту - це добре. Я думаю, що ти зробив це правильно.

— gung - Відновіть Моніку

У роботі та взагалі (випадкові) змінні - це все, що виходить із розподілу ймовірностей. Латентні (випадкові) змінні - це ті, яких ви безпосередньо не спостерігаєте ( спостерігається, немає, але обидва є rv). З прихованої випадкової величини можна отримати задній розподіл, який є його розподілом ймовірностей, обумовленим спостережуваними даними. $y$ $\beta$

З іншого боку, параметр фіксується, навіть якщо ви не знаєте його значення. Наприклад, оцінка максимальної ймовірності дає вам найбільш ймовірне значення параметра. Але це дає точку, а не повне розповсюдження, тому що фіксовані речі не мають розподілу! (Ви можете поставити розподіл на те, наскільки ви впевнені в цьому значенні, або в якому діапазоні ви маєте це значення, але це не те саме, що розподіл самого значення, яке існує лише у тому випадку, якщо значення насправді є випадковим змінна)

У байєсівській обстановці ви можете мати їх усіх. Тут параметри такі, як кількість кластерів; Ви даєте це значення моделі, і модель вважає це фіксованим числом. - випадкова величина, тому що вона виведена з розподілу, а і є прихованими випадковими змінними, оскільки вони також виведені з розподілу ймовірностей. Те, що залежить від а не робить їх "параметрами", це просто робить залежними від двох випадкових величин. $y$ $\beta$ $w$ $y$ $\beta$ $w$ $y$

У статті вони вважають, що і є випадковими змінними. $\beta$ $w$

У цьому реченні:

Ці рівняння оновлення потрібно запускати ітераційно, поки всі параметри та повна ймовірність журналу не зблизяться до стійких значень

теоретично вони говорять про два параметри, а не про випадкові величини, оскільки в ЕМ це те, що ви робите, оптимізуючи параметри.

— Альберто
джерело

Питання стосувалося прихованих змінних.

— Тім

виправлено, я сподіваюся, що зараз зрозуміліше.

— Альберто