Запитання з тегом «expectation-maximization»

Я намагаюся зрозуміти алгоритм ЕМ, щоб мати можливість його реалізувати та використовувати. Я провів цілий день, читаючи теорію та документ, де ЕМ використовується для відстеження літака, використовуючи інформацію про положення, що надходить від радарів. Чесно кажучи, я не думаю, що я повністю розумію основну ідею. Чи може хтось вказати мені …

117 regression  probability  mathematical-statistics  intuition  expectation-maximization 

Я вивчив алгоритми кластеризації даних (без нагляду): EM та k-засоби. Я продовжую читати наступне: k-засоби - це варіант ЕМ, з припущеннями, що кластери сферичні. Чи може хтось пояснити вищезгадане речення? Я не розумію, що таке сферичні засоби, і як пов'язані kmeans та EM, оскільки один робить імовірнісне призначення, а інший …

50 machine-learning  clustering  data-mining  k-means  expectation-maximization 

Яка різниця між алгоритмами ЕМ (Максималізація очікування) та Градієнтним підйомом (або спуском)? Чи є якась умова, за якої вони є рівнозначними?

28 gradient-descent  expectation-maximization 

Я десь прочитав, що метод Варіаційного Байєса - це узагальнення алгоритму ЕМ. Дійсно, ітеративні частини алгоритмів дуже схожі. Щоб перевірити, чи алгоритм ЕМ є спеціальною версією Variational Bayes, я спробував наступне: YYY - це дані, - це збір прихованих змінних, а - параметри. У варіаційних Бейсах ми можемо зробити наближення …

26 bayesian  expectation-maximization  variational-bayes 

Я прочитав пару пояснень алгоритму ЕМ (наприклад, з розпізнавання шаблонів Бішопа та машинного навчання та з першого курсу з машинного навчання Роджера та Героламі). Виведення ЕМ нормально, я це розумію. Я також розумію, чому алгоритм щось прикриває: на кожному кроці ми вдосконалюємо результат і ймовірність обмежується 1,0, тому, використовуючи простий …

24 missing-data  convergence  expectation-maximization 

Примітка: я публікую запитання колишнього мого студента, який не може самостійно опублікувати з технічних причин. З огляду на зразок з розподілу Weibull з pdf є корисне відсутність змінної подання і, отже, пов'язаний з ним алгоритм EM (очікування-максимізація), який можна використовувати для пошуку MLE з , а не з використанням прямого …

24 optimization  missing-data  expectation-maximization  weibull  gumbel 

З того, що я мало знаю, алгоритм ЕМ може бути використаний для пошуку максимальної ймовірності, коли встановлення на нуль часткових похідних стосовно параметрів вірогідності дає набір рівнянь, які неможливо вирішити аналітично. Але чи потрібен алгоритм ЕМ замість того, щоб використовувати якусь чисельну техніку, щоб спробувати знайти максимум ймовірності щодо обмеження …

22 expectation-maximization 

Після проведення аналізу основних компонентів (PCA) я хочу спроектувати новий вектор на простір PCA (тобто знайти його координати в системі координат PCA). Я розрахував PCA мовою R за допомогою prcomp. Тепер я повинен мати можливість помножити свій вектор на матрицю обертання PCA. Чи повинні головні компоненти в цій матриці розташовуватися …

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

У підході до алгоритму ЕМ ми використовуємо нерівність Дженсена, щоб дійти доlogp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dzlog⁡p(x|θ)≥∫log⁡p(z,x|θ)p(z|x,θ(k))dz−∫log⁡p(z|x,θ)p(z|x,θ(k))dz\log p(x|\theta) \geq \int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz - \int \log p(z|x,\theta) p(z|x,\theta^{(k)})dz і визначимо через θ ( k + 1 ) = arg max θ ∫ log p ( z , x | θ ) p ( z …

20 mixture  expectation-maximization 

Я хочу реалізувати алгоритм EM вручну , а потім порівняти його з результатами normalmixEMз mixtoolsпакета. Звичайно, я був би радий, якщо вони обоє призведуть до однакових результатів. Основна довідка - Джеффрі Маклахлан (2000), Моделі кінцевих сумішей . У мене щільність суміші двох гауссів, загалом вигляд, імовірність журналу визначається (Маклаклан, сторінка …

20 r  expectation-maximization  gaussian-mixture 

Розглянемо вірогідність зрубу суміші гауссів: l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlog⁡f(x(t)|θ)=∑t=1nlog⁡{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\} Мені було цікаво, чому обчислювально важко було максимізувати це рівняння безпосередньо? Я шукав або чітку тверду інтуїцію щодо того, чому повинно бути очевидним, що його важке, чи, можливо, більш жорстке пояснення, чому це важко. Чи ця …

18 machine-learning  gaussian-mixture  expectation-maximization 

Я намагаюся навчитися використовувати Маркові випадкові поля для сегментації регіонів зображення. Я не розумію, які параметри в MRF чи чому максимізація очікування, яку я виконую, не вдається іноді сходитися до рішення. Починаючи з теореми Байєса, у мене , де - значення сірого масштабу пікселя, а - мітка класу. Я вирішив …

16 expectation-maximization  image-processing  classification 

Процедура ЕМ видається непосвяченим як більш-менш чорна магія. Оцініть параметри HMM (наприклад) за допомогою контрольованих даних. Потім розшифруйте нетегіровані дані, використовуючи вперед-назад для "підрахунку" події так, як ніби дані позначені, більш-менш. Чому це робить модель кращою? Я щось знаю про математику, але я все ще бажаю якоїсь ментальної картини.

16 expectation-maximization  intuition 

Існує багато літератури, що підкреслюють метод максимізації очікування на моделях сумішей (суміш Гауссова, модель прихованого Маркова тощо). Чому ЕМ важлива? ЕМ - це лише спосіб оптимізації і не використовується широко як градієнтний метод (метод градієнта пристойний або метод ньютона / квазі-ньютона) або інший метод без градієнтів, обговорений ТУТ . Крім …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture 

Я знаю, що k-засоби, як правило, оптимізуються за допомогою максимізації очікування . Однак ми могли б оптимізувати його функцію втрат так само, як і будь-яку іншу! Я знайшов деякі документи, які фактично використовують стохастичний градієнтний спуск для великомасштабних k-засобів, але не змогли отримати відповідь на моє питання. Отже, хтось знає, …

14 optimization  k-means  expectation-maximization  loss-functions