Запитання з тегом «maximum-likelihood»

Загальне запитання Скажімо, у нас є потокові дані x1x1x_1 , , ... . Ми хочемо рекурсивно обчислити максимальну оцінку ймовірності . Тобто, обчисливши \ hat {\ boldsymbol {\ theta}} _ {n-1} = \ underset {\ boldsymbol {\ theta} \ in \ mathbb {R} ^ p} {\ arg \ max} \ …

15 maximum-likelihood  online 

Джеффрі Уолдрідж у своєму Економетричному аналізі даних перерізів та панелей (стор. 357) говорить, що емпіричний Гессіан "не гарантується певним позитивним чи навіть позитивним напівфінітом для конкретного зразка, з яким ми працюємо". Мені це здається неправильним, оскільки (числові проблеми, крім) Гессіан повинен бути позитивним напівдефінітом у результаті визначення М-оцінника як значення …

15 estimation  maximum-likelihood  econometrics  asymptotics 

Мені цікаво, чи максимальна оцінка вірогідності коли-небудь використовується в статистиці. Ми дізнаємось про концепцію, але цікаво, коли вона насправді використовується. Якщо припустити розподіл даних, ми знайдемо два параметри, один для середнього та один для дисперсії, але чи реально ви їх використовуєте в реальних ситуаціях? Хтось може сказати мені простий випадок, …

14 estimation  maximum-likelihood 

& Thetasθ^\hat\theta ; & thetas*θ∗\theta^*пnn‖ˆθ−θ∗‖∥θ^−θ∗∥\lVert\hat\theta-\theta^*\rVertO(1/√n)O(1/n−−√)O(1/\sqrt n)‖Eˆθ−θ∗‖∥Eθ^−θ∗∥\lVert \mathbb E\hat\theta - \theta^*\rVert‖Eˆθ−ˆθ‖∥Eθ^−θ^∥\lVert \mathbb E\hat\theta - \hat\theta\rVertO(1/√n)O(1/n−−√)O(1/\sqrt{n}) Мене цікавлять моделі, які мають ухил, який скорочується швидше, ніж , але де помилка не зменшується з такою швидкістю, оскільки відхилення все ще скорочується як . Зокрема, я хотів би знати достатні умови, щоб ухил моделі …

14 variance  estimation  maximum-likelihood  bias 

Це питання стосується оцінки обмеженої максимальної вірогідності (REML) у певній версії лінійної моделі, а саме: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), де - матриця ( ), параметризована , як і . - невідомий вектор неприємних параметрів; інтерес полягає в оцінці , і ми маємо . Оцінка …

14 mixed-model  maximum-likelihood  linear-model  optimization  reml 

У першому розділі книги « Алгебраїчна геометрія та теорія статистичного навчання», в якому йдеться про конвергенцію оцінок у різних функціональних просторах, згадується, що байєсова оцінка відповідає топології розподілу Шварца, тоді як оцінка максимальної вірогідності відповідає топології над норми (на сторінці 7): Наприклад, над-норма, -норма, слабка топологія простору Гільберта L 2 …

14 bayesian  maximum-likelihood  statistical-learning 

Здається, існує велика плутанина в порівнянні використання glmnetв рамках caretпошуку оптимальної лямбда та використання cv.glmnetтого ж завдання. Поставлено багато питань, наприклад: Класифікаційна модель train.glmnet vs. cv.glmnet? Який правильний спосіб використання glmnet з каретою? Перехресне підтвердження `glmnet` за допомогою` caret` але відповіді не надано, що може бути пов'язано з відтворюваністю питання. …

14 r  caret  glmnet  machine-learning  neural-networks  maximum  softmax  probability  distributions  mathematical-statistics  random-variable  cdf  statistical-significance  variance  expected-value  ratio  sample-size  reliability  tolerance-interval  wilcoxon-signed-rank  self-study  variance  sampling  mean  machine-learning  svm  libsvm  self-study  sampling  ranks  data-visualization  histogram  machine-learning  classification  normal-distribution  mathematical-statistics  maximum-likelihood  mixture  predictive-models  prediction  seasonality 

MLE = Максимальна оцінка ймовірності MAP = Максимум a posteriori MLE інтуїтивно зрозумілий / наївний тим, що він починається лише з ймовірності спостереження за даним параметром (тобто функцією ймовірності) і намагається знайти параметр, що найкраще відповідає спостереженню . Але це не враховує попередніх знань. MAP видається більш розумним, оскільки він …

14 machine-learning  bayesian  estimation  maximum-likelihood  inference 

З огляду на набір даних із двійковими результатами та деякою матрицею провідників , стандартна модель логістичної регресії оцінює коефіцієнти які максимально збільшують біноміальну ймовірність. Коли повний ранг є унікальним; коли ідеального поділу немає, воно є кінцевим.y∈{0,1}ny∈{0,1}ny\in\{0,1\}^nX∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p}βMLEβMLE\beta_{MLE}XXXβMLEβMLE\beta_{MLE} Чи ця модель максимальної ймовірності також максимізує AUC ROC (він же -статистичний), чи …

13 logistic  maximum-likelihood  auc 

Це якась дивна думка, яку я мав під час перегляду старої статистики, і я чомусь не можу думати про відповідь. Безперервний PDF нам повідомляє про щільність спостереження значень у будь-якому заданому діапазоні. А саме, якщо, наприклад, X∼N(μ,σ2)X∼N(μ,σ2)X \sim N(\mu,\sigma^2) , то ймовірність того, що реалізація падає між aaa і bbb …

13 normal-distribution  maximum-likelihood  pdf 

Нещодавно я переглянув деякі старі статті Ненсі Рейд, Барндорфа-Нільсена, Річарда Кокса і, так, маленького Рональда Фішера про концепцію «умовного умовиводу» у частою парадигмі, що, мабуть, означає, що умовиводи засновані на врахуванні лише "відповідний підмножина" простору вибірки, а не всього простору вибірки. В якості ключового прикладу відомо, що довірчі інтервали, засновані …

13 confidence-interval  maximum-likelihood  inference 

Я бачу в різних місцях, що ANOVA робить свою оцінку методом моментів. Мене бентежить це твердження, оскільки, хоча я не знайомий з методом моментів, моє розуміння полягає в тому, що це щось інше і не еквівалентне методу максимальної ймовірності; з іншого боку, ANOVA можна розглядати як лінійну регресію з категоричними …

13 anova  mixed-model  maximum-likelihood  method-of-moments 

Це питання викликане довгим обговоренням у коментарях тут: Як лінійна регресія використовує нормальний розподіл? У звичайній лінійної регресійної моделі, для простоти тут написана тільки один провісник: Yi= β0+ β1хi+ ϵiYi=β0+β1xi+ϵi Y_i = \beta_0 + \beta_1 x_i + \epsilon_i , де хixix_i відомі константи і & ϵiϵi\epsilon_i дорівнюють нулю, середні незалежні …

13 regression  normal-distribution  mathematical-statistics  maximum-likelihood  least-squares 

Виконуючи регресію, якщо йти за визначенням: Яка різниця між частковою ймовірністю, профільною ймовірністю та граничною ймовірністю? що, Максимальна ймовірність Знайти β і θ, що максимізує L (β, θ | дані). Тоді як гранична ймовірність ми інтегруємо θ з рівняння ймовірності, використовуючи той факт, що ми можемо ідентифікувати розподіл ймовірності θ, …

13 regression  maximum-likelihood 

Після центрування два вимірювання x і −x можна вважати незалежними спостереженнями з розподілу Коші з функцією щільності ймовірності: 1f( x : θ ) =f(x:θ)=f(x :\theta) = ,-∞&lt;x&lt;∞1π( 1 + ( х - θ )2)1π(1+(x−θ)2)1\over\pi (1+(x-\theta)^2) , - ∞ &lt; x &lt; ∞,−∞&lt;x&lt;∞, -∞ < x < ∞ Покажіть, що якщо …

13 self-study  distributions  maximum-likelihood  cauchy