Запитання з тегом «maximum-likelihood»

Я читаю цю сторінку: http://neuralnetworksanddeeplearning.com/chap3.html і було сказано, що сигмоїдний вихідний шар з перехресною ентропією досить подібний з вихідним шаром softmax з вірогідністю лог. що трапиться, якщо я використовую сигмоїд з вірогідністю лога або softmax з перехресною ентропією у вихідному шарі? це добре? тому що я бачу, що між рівнями …

31 neural-networks  maximum-likelihood  softmax 

Я поясню свою проблему на прикладі. Припустимо, ви хочете передбачити дохід фізичної особи за деякими ознаками: {Вік, стать, країна, регіон, місто}. У вас такий навчальний набір даних train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

Припустимо, у нас є випадкова величина . Якщо були істинним параметром, функцію вірогідності слід максимізувати, а похідну дорівнює нулю. Це основний принцип, що стоїть за оцінкою максимальної ймовірності.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Як я розумію, інформація про Фішера визначається як I(θ)=E[(∂∂θf(X|θ))2]I(θ)=E[(∂∂θf(X|θ))2]I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ] Таким чином, якщо - істинний …

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information 

Розглянемо незалежних зразків отриманих із випадкової величини яка передбачається, що вона має усічений розподіл (наприклад, усічений нормальний розподіл ) відомих (кінцевих) мінімальних і максимальних значень і але невідомих параметрів та . Якби дотримувався нерізаного розподілу, максимальна оцінка ймовірності та для та із була б середньою вибіркоюNNNSSSXXXaaabbbμμ\muσ2σ2\sigma^2XXXμˆμ^\widehat\muσˆ2σ^2\widehat\sigma^2μμ\muσ2σ2\sigma^2SSSμˆ=1N∑iSiμ^=1N∑iSi\widehat\mu = \frac{1}{N} \sum_i S_iі …

28 distributions  estimation  mathematical-statistics  maximum-likelihood  truncation 

Я чув про емпіричну ймовірність Оуена, але до недавнього часу не звертав на це уваги, поки я не натрапив на нього в цікавій роботі ( Mengersen et al. 2012 ). зрозуміти це, я зрозумів, що ймовірність спостережуваних даних представлена ​​як , де і .L=∏ipi=∏iP(Xi=x)=∏iP(Xi≤x)−P(Xi<x)L=∏ipi=∏iP(Xi=x)=∏iP(Xi≤x)−P(Xi<x)L = \prod_i p_i = \prod_i P(X_i=x) …

28 bayesian  maximum-likelihood  nonparametric  likelihood  empirical-likelihood 

Максимальна оцінка ймовірності часто призводить до упереджених оцінок (наприклад, її оцінка для дисперсійної вибірки є упередженою для розподілу Гаусса). Що тоді робить його таким популярним? Чому саме його так багато використовують? Також, що зокрема робить його кращим, ніж альтернативний підхід - метод моментів? Крім того, я помітив, що для Гаусса …

25 normal-distribution  maximum-likelihood  method-of-moments 

У мене плутанина щодо упереджених оцінок максимальної ймовірності (ML). Математика цілого поняття для мене досить чітка, але я не можу зрозуміти інтуїтивно зрозумілі міркування. Враховуючи певний набір даних, який має вибірки з розподілу, який сам є функцією параметра, який ми хочемо оцінити, ML-оцінка приводить до значення параметра, який, швидше за …

25 maximum-likelihood  bias 

Я натрапив на кілька посібників, які пропонують використовувати Nlm R для максимальної оцінки ймовірності. Але жодна з них (включаючи документацію R ) не дає багато теоретичних вказівок щодо того, коли використовувати або не використовувати цю функцію. Наскільки я можу сказати, nlm просто робить градієнтний спуск по лінії методу Ньютона. Чи …

25 r  maximum-likelihood 

Я тільки почав вивчати інформацію про статистику та моделі. В даний час я розумію, що ми використовуємо MLE для оцінки найкращих параметрів для моделі. Однак, коли я намагаюся зрозуміти, як працюють нейронні мережі, здається, що вони зазвичай використовують інший підхід для оцінки параметрів. Чому ми не використовуємо MLE або взагалі …

23 maximum-likelihood  neural-networks 

Цікаво, чи завжди існує максимізатор для будь-якої проблеми з оцінкою ймовірності максимальної (log-)? Іншими словами, чи є деякий розподіл та деякі його параметри, для яких проблема MLE не має максимізатора? Моє запитання випливає із твердження інженера, що функція витрат (вірогідність чи схожість на журнал, я не впевнений, що було призначено) …

23 maximum-likelihood  optimization 

Які є максимально вірогідні оцінки параметрів t-розподілу Стьюдента? Чи існують вони в закритому вигляді? Швидкий пошук Google не дав мені жодних результатів. Сьогодні мене цікавить універсальний випадок, але, напевно, мені доведеться поширити модель на кілька вимірів. EDIT: Мене найбільше цікавлять параметри місця та масштабу. На даний момент я можу припустити, …

23 estimation  maximum-likelihood  t-distribution 

Я знаю, що для регулярних проблем, якщо у нас найкращий регулярний неупереджений оцінювач, він повинен бути максимальним імовірністю оцінки (MLE). Але взагалі, якщо у нас є неупереджений MLE, чи був би він також найкращим неупередженим оцінювачем (чи, можливо, я повинен його називати UMVUE, якщо він має найменшу дисперсію)?

22 mathematical-statistics  maximum-likelihood  unbiased-estimator 

Згідно з вірогідністю та статистикою Міллера та Фрейнда для інженерів, 8ed (pp.217-218), функція ймовірності буде максимально використана для розподілу біномів (випробування Бернуллі) задається як L(p)=∏ni=1pxi(1−p)1−xiL(p)=∏i=1npxi(1−p)1−xiL(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i} Як дійти до цього рівняння? Мені здається досить зрозумілим щодо інших дистрибуцій, Пуассона та Гаусса; L(θ)=∏ni=1PDF or PMF of dist.L(θ)=∏i=1nPDF or PMF of …

22 estimation  maximum-likelihood  bernoulli-distribution  point-estimation 

З огляду на вихід з оптимуму з матрицею гессіана, як обчислити довірчі інтервали параметрів за допомогою гессіанової матриці? fit<-optim(..., hessian=T) hessian<-fit$hessian Мене найбільше цікавить контекст аналізу максимальної вірогідності, але мені цікаво дізнатися, чи можна розширити метод за його межами.

22 r  maximum-likelihood 

Припустимо, у мене є така модель yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i де yi∈RKyi∈RKy_i\in \mathbb{R}^K , xixix_i - вектор пояснювальних змінних, θθ\theta - параметри нелінійної функції fff і εi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma) , де ΣΣ\Sigma природно - матриця K×KK×KK\times K Мета звичайна для оцінки θθ\theta і ΣΣ\Sigma . Очевидним вибором є метод максимальної ймовірності. Вхід правдоподібності для …

22 maximum-likelihood  optimization  covariance