Запитання з тегом «gradient-descent»

Я вивчав лінійну регресію і спробував її на нижньому наборі {(x, y)}, де x вказав площу будинку в квадратних футах, а y вказав ціну в доларах. Це перший приклад у Ендрю Нґ Нотатки . 2104,400 1600,330 2400,369 1416,232 3000,540 Я розробив зразок коду, але коли я його запускаю, вартість збільшується …

12 regression  least-squares  gradient-descent  supervised-learning 

Якщо ми обробляємо, наприклад, 10 прикладів у партії, я розумію, що ми можемо підсумовувати втрати за кожним прикладом, але як працює зворотне розмноження щодо оновлення ваг для кожного прикладу? Наприклад: Приклад 1 -> втрата = 2 Приклад 2 -> втрата = -2 Це призводить до середньої втрати 0 (E = …

12 neural-networks  gradient-descent  backpropagation  tensorflow 

Я б задавав питання, пов’язане з цим . Я знайшов приклад написання спеціальної функції втрати для xgboost тут : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <- getinfo(dtrain, "label") # We compute …

12 r  machine-learning  gradient-descent  boosting  loss-functions 

Нещодавно ми побачили появу Залишкової Нейронної Мережі, де кожен шар складається з обчислювального модуля та з'єднання, що зберігає вхід до шару, такого як вихід i-го шару демонструє: Мережа дозволяє витягнути залишкові характеристики та дозволяє отримати більш глибоку глибину, в той час як бути більш надійною до зникаючої градієнтної проблеми, досягаючи …

11 machine-learning  neural-networks  deep-learning  gradient-descent  residual-networks 

У mgcvпакеті Rє дві функції для встановлення тензорних взаємодій між продуктами: te()і ti(). Я розумію основний розподіл праці між двома (встановлення нелінійної взаємодії проти декомпозиції цієї взаємодії на основні ефекти та взаємодію). Чого я не розумію, це чому te(x1, x2)і ti(x1) + ti(x2) + ti(x1, x2)може давати (трохи) різні результати. …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Мені було цікаво, чи можна тренувати SVM (скажімо, лінійний, щоб полегшити справи) за допомогою зворотного розповсюдження? Наразі я перебуваю на дорозі, тому що можу думати лише про те, як записати вихід класифікатора як f( x ; θ , b ) = sgn ( θ ⋅ x - ( b + …

11 machine-learning  neural-networks  svm  gradient-descent  backpropagation 

Коли набір рівнянь неможливо вирішити аналітично, тоді ми можемо використовувати алгоритм спуску градієнта. Але, схоже, існує також метод моделювання Монте-Карло, який можна використовувати для вирішення проблем, які не мають аналітичних рішень. Як сказати, коли використовувати градієнтний спуск і коли використовувати Монте-Карло? Або я просто плутаю термін "моделювання" з "оптимізацією"? Дуже …

11 monte-carlo  gradient-descent 

Під час тренування параметризованої моделі (наприклад, для збільшення максимальної вірогідності) за допомогою стохастичного градієнтного спуску на деякому наборі даних зазвичай прийнято вважати, що навчальні зразки витягуються внаслідок розподілу навчальних даних. Отже, якщо мета - моделювати спільний розподіл , то кожний навчальний зразок ( x i , y i ) повинен …

10 machine-learning  conditional-probability  reinforcement-learning  gradient-descent 

Я намагаюся зрозуміти оптимізацію градієнта спуску в алгоритмах ML (машинне навчання). Я розумію, що існує функція витрат - де мета - мінімізувати помилку . У сценарії, коли ваги оптимізуються, щоб дати мінімальну помилку, і використовуються часткові похідні, чи змінюються вони як і на кожному кроці чи це комбінація (наприклад, у …

9 optimization  gradient-descent 

Припустимо, ми робимо приклад іграшки на градієнті пристойному, мінімізуючи квадратичну функцію , використовуючи фіксований розмір кроку . ( )хТА хxTAxx^TAxα = 0,03α=0.03\alpha=0.03А = [ 10 , 2 ; 2 , 3 ]A=[10,2;2,3]A=[10, 2; 2, 3] Якщо ми побудуємо слід у кожній ітерації, отримаємо наступний малюнок. Чому точки стають «набагато щільнішими», …

9 r  machine-learning  optimization  gradient-descent 

Я думав вирішити Лассо за допомогою градієнтних методів ванілі. Але я читав людей, які пропонують використовувати проксимальний градієнтний спуск. Чи може хтось виділити, чому для Лассо застосовують проксимальний ГД замість методів градієнта ванілі?

9 machine-learning  optimization  lasso  gradient-descent 

Я читаю корисну запис у Вікіпедії щодо збільшення градієнта ( https://en.wikipedia.org/wiki/Gradient_boosting ) і намагаюся зрозуміти, як / чому ми можемо наблизити залишки найкрутішим кроком спуску (також званий псевдоградієнтом ). Чи може хтось дати мені інтуїцію щодо того, як найкрутіший спуск пов’язаний / схожий на залишки? Допомога високо оцінена!

9 self-study  gradient-descent 

Як можна визначити оптимальну швидкість навчання для градієнтного спуску? Я думаю, що я міг би автоматично його відрегулювати, якщо функція витрат поверне більше значення, ніж у попередній ітерації (алгоритм не збіжиться), але я не дуже впевнений, яке нове значення воно має прийняти.

9 regression  machine-learning  gradient-descent