Запитання з тегом «optimization»

Я займаюся деякими дослідженнями методів оптимізації машинного навчання, але я здивований, коли велика кількість алгоритмів оптимізації визначено в плані інших проблем оптимізації. Деякі приклади проілюструю нижче. Наприклад https://arxiv.org/pdf/1511.05133v1.pdf Все виглядає красиво і добре , але тоді ця в г K + 1 оновлення .... так що алгоритм , який вирішує …

23 machine-learning  svm  optimization 

Нещодавно виникло питання, схоже на ML, щодо зміни обстановки стекерів, і я опублікував відповідь, рекомендуючи метод Пауелла, градієнтне походження, генетичні алгоритми чи інші "алгоритми наближення". У коментарі хтось сказав мені, що ці методи були "евристикою", а не "алгоритмами наближення" і часто не наближалися до теоретичного оптимуму (оскільки вони "часто застрягають …

23 machine-learning  optimization  approximation 

Цікаво, чи завжди існує максимізатор для будь-якої проблеми з оцінкою ймовірності максимальної (log-)? Іншими словами, чи є деякий розподіл та деякі його параметри, для яких проблема MLE не має максимізатора? Моє запитання випливає із твердження інженера, що функція витрат (вірогідність чи схожість на журнал, я не впевнений, що було призначено) …

23 maximum-likelihood  optimization 

Мені було цікаво, які різні випадки використання для двох алгоритмів, Координатного спуску та Градієнтного Спуску . Я знаю, що спуск координат має проблеми з негладкими функціями, але він використовується в популярних алгоритмах, таких як SVM і LASSO. Однак градієнтний спуск, на мою думку, застосовується ширше, особливо при відродженні ANN та …

23 optimization  gradient-descent 

Тут є подібна нитка ( Функція вартості нейронної мережі не випукла? ), Але я не зміг зрозуміти моменти у відповідях там, і моя причина знову запитати, сподіваючись, що це прояснить деякі проблеми: Якщо я використовую функцію вартості різниці у квадраті, я в кінцевому підсумку оптимізую щось із вигляду де - …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

Припустимо, у мене є така модель yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i де yi∈RKyi∈RKy_i\in \mathbb{R}^K , xixix_i - вектор пояснювальних змінних, θθ\theta - параметри нелінійної функції fff і εi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma) , де ΣΣ\Sigma природно - матриця K×KK×KK\times K Мета звичайна для оцінки θθ\theta і ΣΣ\Sigma . Очевидним вибором є метод максимальної ймовірності. Вхід правдоподібності для …

22 maximum-likelihood  optimization  covariance 

Чому так часто буває отримання максимальних оцінок ймовірності параметрів, але ви практично ніколи не чуєте про очікувані оцінки параметрів ймовірності (тобто виходячи з очікуваного значення, а не режиму функції ймовірності)? Це в першу чергу з історичних причин, або з більш предметних технічних чи теоретичних причин? Чи будуть суттєві переваги та …

22 probability  mathematical-statistics  maximum-likelihood  optimization  expected-value 

Мені потрібно реалізувати програму, яка класифікує записи на 2 категорії (правда / хибність) на основі деяких навчальних даних, і мені було цікаво, на який алгоритм / методологію я повинен дивитись. Здається, що їх вибирати дуже багато - штучна нейронна мережа, генетичний алгоритм, машинне навчання, байєсова оптимізація тощо тощо, і я …

21 machine-learning  bayesian  optimization  genetic-algorithms 

У нас є багато хороших дискусій про ідеальне розділення в логістичній регресії. Такі як, Логістична регресія в R призвели до ідеального роз'єднання (феномен Хока-Доннера). А тепер що? і логістична регресійна модель не збігається . Я особисто все ще вважаю, що це не інтуїтивно, чому це буде проблема і чому додавання …

20 logistic  generalized-linear-model  optimization  intuition  separation 

Я знаю визначення матриці симетричного позитивного певного (SPD), але хочу зрозуміти більше. Чому вони такі важливі, інтуїтивно? Ось що я знаю. Що ще? Для даних даних матриця ко-дисперсії - SPD. Матриця ко-дисперсії є важливою метрикою, див. Цей чудовий пост для інтуїтивного пояснення. Квадратична форма випукла, якщо SPD. Опуклість - це …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

При навчанні глибоких і неглибоких нейронних мереж, чому градієнтні методи (наприклад, спуск градієнта, Нестеров, Ньютон-Рафсон), зазвичай використовуються, на відміну від інших метагевристів? Під метагевристикою я маю на увазі такі методи, як імітація відпалу, оптимізація колоній мурашок тощо, які були розроблені, щоб уникнути застрявання в локальних мінімумах.

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Я використовував theano для експерименту з LSTM, і мені було цікаво, які методи оптимізації (SGD, Adagrad, Adadelta, RMSprop, Adam тощо) найкраще працюють для LSTM? Чи є якісь наукові роботи на цю тему? Також, чи залежить відповідь від типу програми, для якої я використовую LSTM? Якщо так, я використовую LSTM для …

20 machine-learning  neural-networks  optimization  lstm 

Генетичні алгоритми є однією з форм методу оптимізації. Часто стохастичний градієнтний спуск та його похідні є найкращим вибором для оптимізації функцій, але генетичні алгоритми все ще іноді застосовуються. Наприклад, антена космічного корабля ST5 NASA була створена за допомогою генетичного алгоритму: Коли методи генетичної оптимізації є кращим вибором, ніж більш поширені …

20 machine-learning  optimization  gradient-descent  genetic-algorithms 

Я новачок в оптимізації. Я продовжую бачити рівняння , у яких праворуч від норми є суперскрипт 2 та підпис 2. Наприклад, ось рівняння найменших квадратів хв ||Ax−b||22||Ax−b||22 ||Ax-b||^2_2 Я думаю, що я розумію суперскрипт 2: це означає вирівняти значення норми. Але що таке індекс 2? Як я повинен прочитати ці …

20 regression  optimization  notation 

Чому використання методу Ньютона для оптимізації логістичної регресії називають ітераційними перезваженими найменшими квадратами? Мені це здається незрозумілим, оскільки логістичні втрати та найменші втрати квадратів - це абсолютно різні речі.

19 logistic  generalized-linear-model  optimization  irls  fisher-scoring