Запитання з тегом «optimization»

Я намагаюся зрозуміти процес навчання лінійної машини підтримки вектора . Я усвідомлюю, що властивості SMV дозволяють оптимізувати їх набагато швидше, ніж за допомогою рішення квадратичного програмування, але для цілей навчання я хотів би побачити, як це працює. Дані про навчання set.seed(2015) df <- data.frame(X1=c(rnorm(5), rnorm(5)+5), X2=c(rnorm(5), rnorm(5)+3), Y=c(rep(1,5), rep(-1, 5))) …

12 r  svm  optimization 

У мене є функція ймовірності для ймовірності моїх даних урахуванням деяких параметрів моделі , які я хотів би оцінити. Якщо припустити плоскі пріори за параметрами, вірогідність пропорційна задній ймовірності. Я використовую метод MCMC для вибірки цієї ймовірності.L (d| θ)L(г|θ)\mathcal{L}(d | \theta)ггdθ ∈ RNθ∈RN\theta \in \mathbf{R}^N Дивлячись на результуючий конвергентний ланцюг, …

11 bayesian  maximum-likelihood  optimization  inference  mcmc 

Вибираючи параметр регуляризації лямбда в Ridge або Lasso, рекомендований метод полягає в тому, щоб спробувати різні значення лямбда, виміряти похибку у валідаційному наборі і, нарешті, обрати це значення лямбда, яке повертає найменшу помилку. Мені не чітко, якщо функція f (лямбда) = помилка - опукла. Може так бути? Тобто, чи може …

11 cross-validation  error  regularization  validation  optimization 

Це дуже важка для себе тема Google, оскільки використання слів оптимізації та стохастичності в пошуку майже автоматично встановлюється за замовчуванням для пошуку стохастичної оптимізації. Але що я дійсно хочу знати, які методи існують для оптимізації комп'ютерних моделей, коли вихід комп'ютерної моделі є стохастичним, тобто не детермінованим? Наприклад, якщо розглядати комп'ютерну …

11 optimization  stochastic-processes 

Моя перукар Стейсі завжди одягає щасливе обличчя, але часто наголошує на управлінні своїм часом. Сьогодні Стейсі була прострочена в моєму призначенні і дуже вибачилася. Отримуючи стрижку, я задумався: як довго повинні бути її стандартні побачення? (якщо перевагу замовника на чисті круглі номери можна ненадовго проігнорувати). Що слід враховувати, це певний …

11 normal-distribution  optimization  queueing  decision-theory 

Я намагаюся реалізувати алгоритм Nelder-Mead для оптимізації функції. Сторінка вікіпедії про Нелдера-Мід напрочуд чітка щодо всього алгоритму, за винятком критерію його зупинки. Там це сумно говорить: Перевірте на конвергенцію [потрібне уточнення] . Я сам випробував кілька критеріїв: Зупиніться, якщо де малий і де - -та вершина симплекса, впорядкована від низької …

11 optimization  algorithms 

У mgcvпакеті Rє дві функції для встановлення тензорних взаємодій між продуктами: te()і ti(). Я розумію основний розподіл праці між двома (встановлення нелінійної взаємодії проти декомпозиції цієї взаємодії на основні ефекти та взаємодію). Чого я не розумію, це чому te(x1, x2)і ti(x1) + ti(x2) + ti(x1, x2)може давати (трохи) різні результати. …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Я натрапив на ці слайди (слайд №16 та №17) на одному з онлайн-курсів. Викладач намагався пояснити, як Максимальна задня оцінка (MAP) насправді є рішенням , де є істинний параметр.θ ∗L ( θ ) = I[ θ ≠ θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne \theta^{*}]θ∗θ∗\theta^{*} Може хтось, будь ласка, пояснить, як це випливає? …

10 bayesian  optimization  loss-functions  decision-theory  map-estimation 

Я розумію, що регресія LASSO полягає в тому, що коефіцієнти регресії вибираються для вирішення проблеми мінімізації: хвβ∥ у- Xβ∥22 с . т . ∥ β∥1≤ tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t На практиці це робиться за допомогою множника Лагранжа, що дозволяє вирішити проблему хвβ∥ у- …

10 optimization  lasso  regularization  lagrange-multipliers 

Якщо у мене є матриця проектування Х∈ Rn × dХ∈Rн×гX\in\mathcal{R}^{n\times d} , де - кількість спостережень розмірності , яка складність рішення для з LASSO, wrt і ? Я думаю, що відповідь має стосуватися того, як одна ітерація LASSO масштабується з цими параметрами, а не як масштабує кількість ітерацій (конвергенції), якщо …

10 optimization  lasso  regularization  time-complexity 

Я стежу за підручником із журналу Tensorflow ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). Підручник використовує tf.train.Optimizer.minimize(конкретно tf.train.GradientDescentOptimizer). Я не бачу жодних аргументів, щоб передаватись ніде для визначення градієнтів. Чи потік тензорів використовує цифрову диференціацію за замовчуванням? Чи є спосіб пройти в градієнтах, як ви можете scipy.optimize.minimize?

10 python  optimization  tensorflow 

Система рейтингів Elo використовує алгоритм мінімізації градієнта спуску функції перехресної ентропії втрат між очікуваною та спостережуваною ймовірністю результату в парних порівняннях. Ми можемо записати загальні функції втрат як E=−∑n,ipiЛ о г( qi)E=−∑n,ipiLog(qi) E=-\sum_{n,i} p_i Log (q_i) де сума виконується за всіма результатами та всіма противниками n . p i - …

10 regression  optimization  rating 

В основному я хочу перетворити заходи подібності у ваги, які використовуються як предиктори. Подібність буде на [0,1], і я обмежу ваги також на [0,1]. Мені б хотілося, щоб параметрична функція робила це відображення, яке я, швидше за все, оптимізую за допомогою градієнтного спуску. Вимоги полягають у тому, що 0 карт …

10 optimization  curve-fitting 

Я намагаюся вписати в R дискретний час модель, але не знаю, як це зробити. Я читав, що ви можете організувати залежну змінну в різні рядки, по одній для кожного часу спостереження, і використовувати glmфункцію за допомогою посилання logit або cloglog. У цьому сенсі, у мене є три колонки: ID, Event(1 …

10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation 

Я намагаюся зрозуміти оптимізацію градієнта спуску в алгоритмах ML (машинне навчання). Я розумію, що існує функція витрат - де мета - мінімізувати помилку . У сценарії, коли ваги оптимізуються, щоб дати мінімальну помилку, і використовуються часткові похідні, чи змінюються вони як і на кожному кроці чи це комбінація (наприклад, у …

9 optimization  gradient-descent