Запитання з тегом «optimization»

Класифікатор Naive Bayes - це класифікатор, який присвоює елементи хxx класу СCC на основі максимізації заднього П( С| х)P(C|x)P(C|x) для приналежності до класу, і передбачає, що функції елементів не залежать. Втрата 0-1 - це втрата, яка присвоює будь-якій помилковій класифікації втрату "1", а втрату "0" - будь-якій правильній класифікації. Я …

13 machine-learning  bayesian  optimization  naive-bayes  loss-functions 

Нещодавно я прочитав статтю Янна Дофіна та ін. Виявлення та атака проблеми сідлових точок у великомірній невипуклій оптимізації , де вони запроваджують цікавий алгоритм спуску під назвою Ньютон , що не є сідлом , який, здається, є спеціально розробленим для оптимізації нейронної мережі і не повинен страждати від застрявання в …

13 optimization  deep-learning  gradient-descent 

Чи існують дослідницькі групи, які працюють над використанням глибокого навчання для проблем комбінаторної оптимізації?

13 optimization  deep-learning 

На це питання вже є відповіді : Алгоритм зворотного розповсюдження (2 відповіді) Закрито 4 місяці тому . Що таке алгоритм зворотного поширення і як він працює?

13 algorithms  optimization  neural-networks 

Ось зразок коду keras, який використовує його: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

13 neural-networks  regularization  conv-neural-network  optimization 

Я намагаюся налаштувати гіперпараметри алгоритму регресії гауссового процесу, який я реалізував. Я просто хочу максимально збільшити граничну ймовірність журналу, задану формулою де K - матриця коваріації з елементи K_ {ij} = k (x_i, x_j) = b ^ {- 1} \ exp (- \ frac {1} {2} (x_i-x_j) ^ TM (x_i-x_j)) …

13 regression  optimization  gaussian-process  hyperparameter 

аргхвшL ( w ) = ∑нi = 1| уi- шТх |арг⁡хвшL(ш)=∑i=1н|уi-шТх| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| хв ∑нi = 1уiхв∑i=1нуi\min \sum_{i=1}^{n}u_{i} уi≥ xТш - уii = 1 , … , nуi≥хТш-уii=1,…,нu_i \geq \textbf{x}^T\textbf{w}- y_{i} \; i = 1,\ldots,n уi≥ - ( хТш - уi)i = 1 , … , nуi≥-(хТш-уi)i=1,…,нu_i \geq -\left(\textbf{x}^T\textbf{w}-y_{i}\right) \; …

12 regression  optimization  quantile-regression  linear-programming  least-absolute-deviations 

TL; DR: lme4оптимізація виявляється лінійним по числу параметрів моделі за замовчуванням, і шлях повільніше , ніж аналогічна glmмодель з фіктивними змінними для груп. Чи можна щось зробити, щоб прискорити це? Я намагаюся вписати досить велику ієрархічну модель logit (~ 50k рядків, 100 стовпців, 50 груп). Встановлення нормальної моделі logit до …

12 r  mixed-model  optimization  lme4-nlme  numerics 

Відповідно до посилань Книга 1 , Книга 2 та папір . Було зазначено, що існує рівнозначність між регульованою регресією (Ridge, LASSO та Elastic Net) та їх формулами обмеження. Я також переглянув Cross Valified 1 та Cross Validated 2 , але я не можу побачити чітку відповідь, що свідчить про еквівалентність …

12 regression  optimization  lasso  ridge-regression  elastic-net 

Чи завжди використання "варіативної" стосується оптимізації за допомогою варіативного висновку? Приклади: "Варіаційний автоматичний кодер" "Варіаційні баєсові методи" "Варіаційна група ренормалізації"

12 machine-learning  optimization  inference 

Я виконую експерименти над набором валідації EMNIST, використовуючи мережі з RMSProp, Adam та SGD. Я досягаю 87% точності за допомогою SGD (ступінь навчання 0,1) та випадання (0,1 випадання задачі), а також регуляризація L2 (1e-05 штраф). Перевіряючи таку саму точну конфігурацію з RMSProp та Адамом, а також початковий рівень навчання 0,001, …

12 machine-learning  optimization  sgd  adam 

У машинному навчанні (для проблем з регресією) я часто бачу середню квадратичну помилку (MSE) або середню абсолютну помилку (MAE), яка використовується як функція помилок для мінімізації (плюс термін регуляризації). Мені цікаво, чи є ситуації, коли використання коефіцієнта кореляції було б більш доцільним? якщо така ситуація існує, то: За яких ситуацій …

12 regression  machine-learning  svm  optimization  deep-learning 

Я шукаю оптимальний метод бінінгу (дискретизація) безперервної змінної щодо заданої відповіді (цільової) бінарної змінної та з максимальною кількістю інтервалів як параметр. Приклад: У мене є набір спостережень за людьми зі змінними "висота" (число безперервно) та "has_back_pains" (бінарні). Я хочу розрізнити висоту на 3 інтервали (групи) максимум з різною часткою людей …

12 r  dataset  optimization  discrete-data  binning 

Для запобігання перевитрати людей люди додають термін регуляризації (пропорційний площі суми параметрів моделі) з параметром регуляризації до функції витрат лінійної регресії. Чи цей параметр збігається з множником лагранжу? Тож чи регуляризація така ж, як метод множника лагранжу? Або як пов’язані ці методи? λλ\lambdaλλ\lambda

12 regression  optimization  regularization 

Я хотів краще зрозуміти точний тест Фішера, тому я розробив наступний іграшковий приклад, де f і m відповідає чоловічому та жіночому, а n і y відповідає такому "споживання соди", як це: > soda_gender f m n 0 5 y 5 0 Очевидно, це різке спрощення, але я не хотів, щоб …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling