Запитання з тегом «convex»

Я працюю над теоретичним машинним навчанням - над трансферним навчанням, щоб бути конкретним - для моєї доктора наук. Чому з цікавості я повинен пройти курс опуклої оптимізації? Які переваги від опуклої оптимізації я можу використовувати у своїх дослідженнях теоретичного машинного навчання?

27 machine-learning  optimization  convex  transfer-learning 

З огляду на опуклу функцію витрат, використовуючи SGD для оптимізації, ми будемо мати градієнт (вектор) в певний момент під час процесу оптимізації. Моє запитання, з огляду на точку на опуклій, чи градієнт лише вказує в тому напрямку, в якому функція швидко збільшується / зменшується, або градієнт завжди вказує на оптимальну …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Тут є подібна нитка ( Функція вартості нейронної мережі не випукла? ), Але я не зміг зрозуміти моменти у відповідях там, і моя причина знову запитати, сподіваючись, що це прояснить деякі проблеми: Якщо я використовую функцію вартості різниці у квадраті, я в кінцевому підсумку оптимізую щось із вигляду де - …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

Я читаю це твердження на одному старому істинному / хибному іспиті: Ми можемо отримати декілька локальних оптимальних рішень, якщо вирішити задачу лінійної регресії шляхом мінімізації суми помилок у квадраті за допомогою градієнтного спуску. Рішення: помилкове Моє запитання, яка частина цього питання неправильна? Чому це твердження хибне?

19 least-squares  gradient-descent  convex 

Цільова функція аналізу головних компонент (PCA) є мінімізація похибки відновлення в нормі L2 (дивіться розділ 2.12 тут Інший вид намагається максимізувати дисперсію на проекції У нас також є відмінний пост тут: .. Яка цільова функція PCA ? ). Моє запитання полягає в тому, що оптимізація PCA опукла? (Я знайшов тут …

13 machine-learning  pca  optimization  convex 

Я запрограмував логістичну регресію за допомогою алгоритму IRLS . Я хотів би застосувати санкцію LASSO для автоматичного вибору потрібних функцій. При кожній ітерації вирішується наступне: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Нехай - невід'ємне дійсне число. Я не караю перехоплення, як пропонується в "Елементах". Статистичне навчання . Дітто для вже нульових коефіцієнтів. В іншому …

12 logistic  generalized-linear-model  feature-selection  lasso  convex