Запитання з тегом «prior»

Я переглядав літературу про регуляризацію, і часто бачу абзаци, що пов'язують регулятизацію L2 з Гауссовим попереднім, а L1 з Лапласом, орієнтованим на нуль. Я знаю, як виглядають ці пріори, але я не розумію, як це означає, наприклад, ваги в лінійній моделі. У L1, якщо я правильно розумію, ми очікуємо, що …

23 regression  bayesian  prior  regularization  laplace-distribution 

Ми знаємо, що у разі правильного попереднього розповсюдження, P(θ∣X)=P(X∣θ)P(θ)P(X)P(θ∣X)=P(X∣θ)P(θ)P(X)P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)} ∝ Р( X∣ θ ) П( θ )∝П(X∣θ)P(θ) \propto P(X \mid \theta)P(\theta) . Звичайне обгрунтування цього кроку полягає в тому, що граничний розподіл , є постійним відносно і може бути ігнорований при виведенні заднього розподілу.XXXθP(X)P(X)P(X)θθ\theta …

22 distributions  bayesian  prior  posterior 

Якщо пріоритет і ймовірність сильно відрізняються один від одного, то іноді виникає ситуація, коли задній не схожий ні на один. Дивіться, наприклад, цю картинку, яка використовує звичайні розподіли. Хоча це математично правильно, це, схоже, не відповідає моїй інтуїції - якщо дані не збігаються з моїми твердими переконаннями або даними, я …

21 bayesian  prior  posterior  likelihood 

Я використовую звичайні розподіли журналу як попередні розподіли для параметрів масштабу (для звичайних розподілів, t розподілів і т. Д.), Коли маю грубе уявлення про те, яким повинен бути масштаб, але хочу помилитися, сказавши, що я не знаю багато про це. Я використовую його, тому що таке використання має для мене …

21 distributions  bayesian  modeling  prior  maximum-entropy 

Чи може хтось пояснити, що таке природна інтерпретація для гіперпараметрів LDA? ALPHAі BETAє параметрами розподілів Диріхле для теми (на документ) і відповідно (на тему). Однак чи може хтось пояснити, що означає вибирати великі значення цих гіперпараметрів проти менших? Чи означає це ставити будь-які попередні переконання щодо обмеженості тем у документах …

21 interpretation  prior  topic-models  hyperparameter 

Фон Однією з найбільш часто використовуваних слабких до зміни дисперсії є зворотна гамма з параметрами (Gelman 2006) .α=0.001,β=0.001α=0.001,β=0.001\alpha =0.001, \beta=0.001 Однак цей розподіл має 90% приблизно .[3×1019,∞][3×1019,∞][3\times10^{19},\infty] library(pscl) sapply(c(0.05, 0.95), function(x) qigamma(x, 0.001, 0.001)) [1] 3.362941e+19 Inf З цього я трактую, що дає низьку ймовірність того, що дисперсія буде дуже …

21 bayesian  multilevel-analysis  prior 

Я чув почуття, що Джейнес стверджує, що лікарі-оператори працюють з "неявним попереднім". Що це або є ці неявні пріори? Чи означає це, що періодичні моделі - це все особливі випадки байєсівських моделей, які чекають їх пошуку?

20 bayesian  prior  posterior  frequentist 

У літературі я іноді натрапляю на зауваження, що вибір теоретиків, які залежать від самих даних (наприклад, Zellners g-prior), можна піддавати критиці з теоретичної точки зору. Де саме проблема, якщо попередній не обраний незалежно від даних?

18 bayesian  prior  hierarchical-bayesian 

Часто стверджується, що байєсівська рамка має велику перевагу в інтерпретації (над частотою), оскільки вона обчислює ймовірність параметра, заданого даними - замість як у частістські рамки. Все йде нормально.p ( x | θ )p ( θ | x )p(θ|x)p(\theta|x)p ( x | θ )p(x|θ)p(x|\theta) Але, ціле рівняння засноване на: p ( …

18 bayesian  interpretation  prior  likelihood  posterior 

Добре відомо, що лінійна регресія з покаранням еквівалентна знаходженню оцінки ПДЧ, заданої Гауссовим попереднім коефіцієнтом. Аналогічно, використання штрафу l 1 еквівалентно використанню розподілу Лапласа як попереднього.л2л2l^2л1л1l^1 Не рідкість використання деякої зваженої комбінації регуляризації та l 2 . Чи можемо ми сказати, що це еквівалентно деякому попередньому розподілу коефіцієнтів (інтуїтивно, здається, …

17 regression  bayesian  regularization  prior  elastic-net 

Я читав про Джеффрі до Вікіпедії: Джефріс Пріор і бачив, що після кожного прикладу він описує, як трансформація, що стабілізує дисперсію, перетворює Джефріса до рівномірного. Як приклад для випадку Бернуллі, він стверджує, що для монети, яка є головами з ймовірністю γ∈[0,1]γ∈[0,1]\gamma \in [0,1] , випробувальна модель Бернуллі виводить, що до …

17 bayesian  prior  jeffreys-prior 

Якщо у нас невеликий розмір вибірки, чи вплине попередній розподіл на задній розподіл сильно?

17 bayesian  sample-size  prior 

У коментарі до цього повідомлення Робі Маккіліам говорить : Слід зазначити, що, з точки зору відвідувачів, немає причин, щоб ви не могли включити попередні знання до моделі. У цьому сенсі частофілістський погляд простіший, у вас є лише модель та деякі дані. Немає необхідності відокремлювати попередню інформацію від моделі Також тут …

17 bayesian  prior  regularization  frequentist 

Я шукаю неінформативні пріори для бета-розподілу для роботи з біноміальним процесом (Hit / Miss). Спочатку я думав про використання які створюють єдиний PDF, або Джефрі попереднього . Але я насправді шукаю пріорів, які мають мінімальний вплив на задній результат, і тоді я подумав про те, щоб скористатись неналежним попереднім значенням …

17 bayesian  prior  beta-distribution  uninformative-prior 

Я знаю 3 методи для оцінки параметрів, ML, MAP та підходу Байєса. А для підходу MAP та Bayes нам потрібно вибрати пріори для параметрів, правда? Скажімо, у мене є модель , в якій α , β - параметри, для того, щоб зробити оцінку за допомогою MAP або Bayes, я прочитав …

17 bayesian  estimation  prior