Запитання з тегом «dirichlet-distribution»

Я починаю балуватися з використанням glmnetз LASSO регресією , де мій результат становить інтерес дихотомический. Я створив невеликий макетний кадр даних нижче: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

У алгоритмі теми теми LDA я бачив це припущення. Але я не знаю, чому обрав диріхлет? Я не знаю, чи можемо ми використовувати уніфікований розподіл по Multinomial як пару?

36 bayesian  dirichlet-distribution  conjugate-prior 

Я досить новачок у байєсівській статистиці, і я натрапив на виправлену кореляційну міру, SparCC , яка використовує процес Діріхле у підставці його алгоритму. Я намагався пройти алгоритм поетапно, щоб зрозуміти, що відбувається, але я не впевнений, що саме робить alphaвекторний параметр при розподілі Діріхле і як він нормалізує alphaвекторний параметр? …

26 distributions  bayesian  dirichlet-distribution 

Скажімо , у нас є розподіл Діріхле з - мірного векторного параметра → & alpha ; = [ & alpha ; 1 , & alpha ; 2 , . . . , α K ] . Як я можу зробити з цього розподілу зразок ( K- розмірний вектор)? Мені потрібно …

25 sampling  dirichlet-distribution 

Тож це питання злегка безладний, але я включаю барвисті графіки, щоб компенсувати це! Спочатку передумови, а потім питання. Фон Скажімо, у вас -вимірний мультиноміальний розподіл з рівними ймовірностями по категоріям. Нехай π = ( π 1 , … , π n ) - нормовані відліки ( c ) від цього …

24 distributions  bayesian  bootstrap  multinomial  dirichlet-distribution 

Нехай палиця довжиною 1 розбивається на фрагменти навмання рівномірно. Який розподіл довжини найдовшого фрагмента?k+1k+1k+1 Більш формально, нехай буде IID , і нехай є пов'язаною статистикою замовлення, тобто ми просто замовляємо зразок таким чином, що . Нехай .(U1,…Uk)(U1,…Uk)(U_1, \ldots U_k)U(0,1)U(0,1)U(0,1)(U(1),…,U(k))(U(1),…,U(k))(U_{(1)}, \ldots, U_{(k)})U(1)≤U(2)≤,…,≤U(k)U(1)≤U(2)≤,…,≤U(k)U_{(1)} \leq U_{(2)} \leq, \ldots , \leq U_{(k)}Zk=max(U(1),U(2)−U(1),…,U(k)−U(k−1),1−U(k))Zk=max(U(1),U(2)−U(1),…,U(k)−U(k−1),1−U(k))Z_k = \max …

21 distributions  uniform  order-statistics  dirichlet-distribution  maximum 

Нехай X1,…,Xk+1X1,…,Xk+1X_1,\dots,X_{k+1} - взаємно незалежні випадкові величини, кожна з яких має розподіл гами з параметрами αi,i=1,2,…,k+1αi,i=1,2,…,k+1\alpha_i,i=1,2,\dots,k+1 показують, що Yi=XiX1+⋯+Xk+1,i=1,…,kYi=XiX1+⋯+Xk+1,i=1,…,kY_i=\frac{X_i}{X_1+\cdots+X_{k+1}},i=1,\dots,k, мають спільний розподіл у виглядіDirichlet(α1,α2,…,αk;αk+1)Dirichlet(α1,α2,…,αk;αk+1)\text{Dirichlet}(\alpha_1,\alpha_2,\dots,\alpha_k;\alpha_{k+1}) Спільний pdf з (X1,…,Xk+1)=e−∑k+1i=1xixα1−11…xαk+1−1k+1Γ(α1)Γ(α2)…Γ(αk+1)(X1,…,Xk+1)=e−∑i=1k+1xix1α1−1…xk+1αk+1−1Γ(α1)Γ(α2)…Γ(αk+1)(X_1,\dots,X_{k+1})=\frac{e^{-\sum_{i=1}^{k+1}x_i}x_1^{\alpha_1-1}\dots x_{k+1}^{\alpha_{k+1}-1}}{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots \Gamma(\alpha_{k+1})} Тоді, щоб знайти спільний pdf з(Y1,…,Yk+1)(Y1,…,Yk+1)(Y_1,\dots,Y_{k+1})я не можу знайти якобіан, тобтоJ(x1,…,xk+1y1,…,yk+1)J(x1,…,xk+1y1,…,yk+1)J(\frac{x_1,\dots,x_{k+1}}{y_1,\dots,y_{k+1}})

18 self-study  multivariate-analysis  gamma-distribution  dirichlet-distribution 

Під час використання моделювання тем (Latent Dirichlet Allocation) кількість тем є вхідним параметром, який потрібно вказати користувачеві. Мені здається, що ми також повинні запропонувати збірку наборів тем кандидатів, проти яких повинен діяти процес Діріхле? Чи правильно я розумію? На практиці, як налаштувати такий тип набору кандидатів?

17 machine-learning  bayesian  clustering  text-mining  dirichlet-distribution 

Так, у (непідконтрольному) текстовому моделюванні, латентне розподілення Діріхле (LDA) є баєсовою версією ймовірнісного латентного семантичного аналізу (PLSA). По суті, LDA = PLSA + Діріхле перед своїми параметрами. Я розумію, що LDA тепер є контрольним алгоритмом і реалізується в різних пакетах, тоді як PLSA більше не слід використовувати. Але в (під …

15 bayesian  multinomial  prior  naive-bayes  dirichlet-distribution 

Зробити випадкову змінну з розподілом Діріхле легко, використовуючи гамма-змінні з тим же параметром масштабу. Якщо: Xi∼Gamma(αi,β)Xi∼Gamma(αi,β) X_i \sim \text{Gamma}(\alpha_i, \beta) Потім: (X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn)(X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn) \left(\frac{X_1}{\sum_j X_j},\; \ldots\; , \frac{X_n}{\sum_j X_j}\right) \sim \text{Dirichlet}(\alpha_1,\;\ldots\;,\alpha_n) Проблема Що станеться, якщо параметри шкали не рівні? Xi∼Gamma(αi,βi)Xi∼Gamma(αi,βi) X_i \sim \text{Gamma}(\alpha_i, \beta_i) Тоді в якому розподілі ця змінна? (X1∑jXj,…,Xn∑jXj)∼?(X1∑jXj,…,Xn∑jXj)∼? …

14 expected-value  dirichlet-distribution  gamma-distribution  integral 

У статті вікіпедії про згладжування Лапласа (або присадки згладжування) сказано, що з байесівської точки зору, це відповідає очікуваному значенню заднього розподілу, використовуючи симетричний розподіл Діріхле з параметром як попередній.αα\alpha Мені спантеличено, як це насправді так. Може хтось допоможе мені зрозуміти, наскільки ці дві речі рівнозначні? Дякую!

11 bayesian  smoothing  dirichlet-distribution  laplace-smoothing 

У мене питання щодо заднього розподілу Діріхле. З огляду на поліноміальний функцію правдоподібності Відомо , що задній є , де N я є число раз , ми вже бачили я т ч спостереження.Dir(αi+Ni)Dir(αi+Ni)Dir({\alpha_i + N_i})NiNiN_iithithi^{th} Що станеться, якщо ми почнемо зменшувати s для заданих фіксованих даних D ? З форми …

11 dirichlet-distribution 

Я спробую описати проблему якнайбільше загальної. Я моделюю спостереження як категоричне розподіл з параметром тети вектора ймовірності. Тоді я припускаю, що тета вектора параметрів слідує за попереднім розподілом Діріхле з параметрами .α1, α2, … , Αкα1,α2,…,αk\alpha_1,\alpha_2,\ldots,\alpha_k Чи можливо тоді також накласти гіперприорний розподіл за параметрами ? Чи повинен це бути …

10 categorical-data  multinomial  dirichlet-distribution  hierarchical-bayesian  dirichlet-process 

У документах AlphaGo Zero та AlphaZero DeepMind вони описують додавання шуму Діріхле до попередніх імовірностей дій з кореневого вузла (стан плати) в дереві Монте-Карло: Додаткова розвідка досягається додаванням шуму Діріхле до попередніх ймовірностей у кореневому вузлі с0s0s_0конкретно П( s , a ) = ( 1 - ε )pа+ εηаП(с,а)=(1-ε)pа+εηаP(s, a) …

10 machine-learning  neural-networks  dirichlet-distribution 

Я зараз переглядаю статтю моделі випадкових ефектів процесу Діріхле, і специфікація моделі така: уiψiГ=Хiβ+ψi+ϵi∼ Г∼ D P( α ,Г0)уi=Хiβ+ψi+ϵiψi∼ГГ∼DП(α,Г0) \begin{align*}y_{i} &= X_{i}\beta + \psi_{i} + \epsilon_{i}\\ \psi_{i} &\sim G \\ G &\sim \mathcal{DP}\left(\alpha, G_{0}\right) \end{align*} де αα\alpha - параметр масштабу і Г0Г0G_{0}є базовим заходом. Згодом у статті пропонується інтегрувати функцію …

9 bayesian  dirichlet-distribution  dirichlet-process  nonparametric-bayes  measure-theory