Запитання з тегом «optimization»

Тому я намагаюся навчити себе нейронних мереж (для регресійних застосувань, а не для класифікації зображень котів). Першими моїми експериментами було навчання мережі для впровадження фільтра FIR та дискретної трансформації Фур'є (тренування сигналів "до" та "після"), оскільки це обидві лінійні операції, які можуть бути реалізовані одним шаром без функції активації. Обидва …

9 machine-learning  neural-networks  optimization  keras  euclidean 

Припустимо, ми робимо приклад іграшки на градієнті пристойному, мінімізуючи квадратичну функцію , використовуючи фіксований розмір кроку . ( )хТА хxTAxx^TAxα = 0,03α=0.03\alpha=0.03А = [ 10 , 2 ; 2 , 3 ]A=[10,2;2,3]A=[10, 2; 2, 3] Якщо ми побудуємо слід у кожній ітерації, отримаємо наступний малюнок. Чому точки стають «набагато щільнішими», …

9 r  machine-learning  optimization  gradient-descent 

Я треную просту конвертну нейронну мережу для регресії, де завдання передбачити (x, y) розташування коробки на зображенні, наприклад: На виході мережі є два вузли, один для x і один для y. Решта мережі - це стандартна звивиста нейронна мережа. Втрата - це стандартна середня квадратична помилка між передбачуваною позицією коробки …

9 machine-learning  neural-networks  optimization  deep-learning  loss-functions 

Припустимо, ми хочемо обчислити деяке очікування: EYEX|Y[f(X,Y)]EYEX|Y[f(X,Y)]E_YE_{X|Y}[f(X,Y)] Припустимо, ми хочемо наблизити це за допомогою моделювання Монте-Карло. ЕYЕХ| Y[ ф( X, Y) ] ≈1R S∑r = 1R∑s = 1Sf(хr , s,уr)EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r) Але припустимо , що це дорого брати проби з обох розподілів, так що ми тільки можемо собі дозволити …

9 optimization  conditional-probability  simulation  expected-value  monte-carlo 

Я думав вирішити Лассо за допомогою градієнтних методів ванілі. Але я читав людей, які пропонують використовувати проксимальний градієнтний спуск. Чи може хтось виділити, чому для Лассо застосовують проксимальний ГД замість методів градієнта ванілі?

9 machine-learning  optimization  lasso  gradient-descent 

У моєму економетричному підручнику (Вступна економетрика), що охоплює OLS, автор пише: "SSR повинен впасти, коли додається ще одна пояснювальна змінна". Чому це?

9 regression  optimization  econometrics  intuition  sums-of-squares 

Я шукаю пакет, який допоможе мені вирішити деякі проблеми квадратичної оптимізації, і я бачу, що є щонайменше півдесятка різних пакетів. Відповідно до цієї сторінки: QP (Квадратичне програмування, 90C20): cplexAPI , kernlab , limSolve , LowRankQP , quadprog , Rcplex , Rmosek Деякі з них (Rmosek і cplexAPI) залежать від інших …

9 r  optimization 

За замовчуванням, коли ми використовуємо glmфункцію в R, він використовує метод ітераційно перезавантажених найменших квадратів (IWLS), щоб знайти максимальну оцінку ймовірності параметрів. Зараз у мене два питання. Чи гарантують оцінки IWLS глобальний максимум функції ймовірності? На основі останнього слайду в цій презентації, я думаю, це не так! Я просто хотів …

9 r  estimation  generalized-linear-model  maximum-likelihood  optimization 

Як я можу оцінити 95% довірчі інтервали, використовуючи профілювання для параметрів, оцінених шляхом максимізації функції вірогідності журналу, використовуючи оптимальну величину R? Я знаю, що я можу асимптотично оцінити матрицю коваріації шляхом інвертування гессіана , але я стурбований тим, що мої дані не відповідають припущенням, необхідним для цього методу. Я вважаю …

9 r  confidence-interval  maximum-likelihood  optimization  profile-likelihood 

Це досить загальне питання (тобто не обов'язково специфічне для статистики), але я помітив тенденцію в машинному навчанні та статистичній літературі, де автори вважають за краще дотримуватися наступного підходу: Підхід 1 : Отримайте рішення практичної задачі, сформулювавши функцію витрат, для якої можна (наприклад, з обчислювальної точки зору) знайти оптимальне глобальне рішення …

9 optimization  function 

Я шукаю грунтовну довідку (або посилання) на методики чисельної оптимізації, спрямовані на статистиків, тобто вона застосовуватиме ці методи до деяких стандартних інфекційних проблем (наприклад, MAP / MLE у звичайних моделях). Такі речі, як градієнтний спуск (прямий і стохастичний), ЕМ та його витоки / узагальнення, імітований відпал тощо. Я сподіваюся, що …

9 estimation  references  optimization 

Отже, у мене є 16 випробувань, в яких я намагаюся ідентифікувати людину з біометричної ознаки за допомогою дистанції Hamming. Мій поріг встановлено на 3,5. Мої дані нижче, і лише пробна версія 1 - справжнє Позитивне: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction