Запитання з тегом «optimization»

Література поглибленого вивчення повна розумних хитрощів із використанням непостійних темпів навчання в градієнтному узвозі. Такі речі, як експоненціальний розпад, RMSprop, Adagrad тощо, легко здійснити і доступні у кожному глибокому навчальному пакеті, проте вони, як видається, не існують поза нейронних мереж. Чи є для цього причина? Якщо люди просто не хвилюються, …

14 machine-learning  deep-learning  optimization  gradient-descent 

Це питання стосується оцінки обмеженої максимальної вірогідності (REML) у певній версії лінійної моделі, а саме: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), де - матриця ( ), параметризована , як і . - невідомий вектор неприємних параметрів; інтерес полягає в оцінці , і ми маємо . Оцінка …

14 mixed-model  maximum-likelihood  linear-model  optimization  reml 

Я читав про оптимізацію недоброзичливої ​​проблеми в комп’ютерному зорі і натрапив на пояснення нижче щодо оптимізації у Вікіпедії. Я не розумію, чому вони називають цю оптимізацію " мінімізацією енергії " в "Комп'ютерному баченні"? Проблема оптимізації може бути представлена ​​наступним чином: Дано: функція від деякого набору A до реальних чиселf:A→Rf:A→Rf: A …

14 machine-learning  optimization  computer-vision 

Я знаю, що k-засоби, як правило, оптимізуються за допомогою максимізації очікування . Однак ми могли б оптимізувати його функцію втрат так само, як і будь-яку іншу! Я знайшов деякі документи, які фактично використовують стохастичний градієнтний спуск для великомасштабних k-засобів, але не змогли отримати відповідь на моє питання. Отже, хтось знає, …

14 optimization  k-means  expectation-maximization  loss-functions 

Я чув таке вираз раніше: "Оптимізація - корінь усього зла в статистиці". Наприклад, головна відповідь у цій темі робить це твердження з посиланням на небезпеку занадто агресивної оптимізації під час вибору моделі. Перше моє запитання наступне: Чи цитата може бути приписана комусь зокрема? (наприклад, у статистичній літературі) Як я розумію, …

14 cross-validation  optimization  overfitting 

Будь-які рекомендації щодо вибору бібліотеки з обмеженою оптимізацією, що підходить для моєї функції оптимізації? Я звожу до мінімуму ai) нелінійну функцію з лінійними рівностями та обмеженнями нерівності, і ii) наявний градієнт та гессіан функції. Якщо це допомагає, функція, яку я мінімізую, - це розбіжність Куллбека-Ліблера . constrOptim має справу лише …

14 r  optimization  software 

У мене є питання щодо оптимізації параметрів, коли я використовую 10-кратну перехресну перевірку. Я хочу запитати, чи слід виправляти параметри під час тренінгу моделі кожного зразків, тобто (1) вибирати один набір оптимізованих параметрів для середньої точності кожного згину. або (2) Я повинен знайти оптимізований параметр для кожної складки, а потім …

14 cross-validation  optimization  parameterization 

Зазвичай при логістичній регресії ми підходимо до моделі і отримуємо деякі прогнози на навчальному наборі. Тоді ми перехресно підтверджуємо ці прогнози тренувань (щось подібне тут ) і визначаємо оптимальне порогове значення на основі чогось кривої ROC. Чому ми не включимо перехресну валідацію порогу в реальну модель і не навчимо все …

13 logistic  cross-validation  optimization  roc  threshold 

Мені хотілося знати, наскільки машинне навчання вимагає оптимізації. З того, що я чув, статистика є важливою математичною темою для людей, які працюють з машинним навчанням. Так само, наскільки важливо, щоб хтось, хто працює з машинним навчанням, дізнався про опуклу або невипуклу оптимізацію?

13 machine-learning  optimization 

Об'єктивна Підтвердьте, чи розуміння KKT є правильним чи ні. Шукайте додаткові пояснення та підтвердження на KKT. Фон Намагаючись зрозуміти умови KKT, особливо додаткові умови, які завжди випливають із синього кольору у статтях SVM. Мені не потрібен список абстрактних формул, але мені потрібно конкретні, інтуїтивні та графічні пояснення. Питання Якщо P, …

13 svm  optimization  lagrange-multipliers 

Я працюю над проектом спільної фільтрації (CF), тобто заповнюю частково спостережувану матрицю або загалом тензор. Я новачок у цій галузі, і для цього проекту в кінцевому підсумку я повинен порівняти наш метод з іншими відомими, які сьогодні пропонуються запропоновані методи проти них, а саме - найсучасніші у КФ. Мій пошук …

13 optimization  recommender-system  matrix-decomposition 

Одним із мотивів еластичної сітки було таке обмеження LASSO: У випадку ласо вибирає не більше n змінних, перш ніж воно насичується, через характер проблеми опуклої оптимізації. Це, здається, є обмежувальною особливістю для способу вибору змінних. Більше того, ласо не є чітко визначеним, якщо обмежена на L1-норма коефіцієнтів менша за певне …

13 regression  optimization  feature-selection  lasso 

Мій друг продає моделей блендерів. Деякі з блендерів дуже прості та дешеві, інші - дуже складні та дорожчі. Його дані складаються з розрахунку на кожен місяць із цін кожного блендера (які фіксуються ним) та кількості проданих одиниць для кожної моделі. Щоб встановити якусь позначення, він знає місяцями векторами де p_ …

13 optimization 

Чи існують швидкі альтернативи алгоритму ЕМ для вивчення моделей із прихованими змінними (особливо pLSA)? Я добре з жертвою точності на користь швидкості.

13 machine-learning  optimization  expectation-maximization  lsa 

Цільова функція аналізу головних компонент (PCA) є мінімізація похибки відновлення в нормі L2 (дивіться розділ 2.12 тут Інший вид намагається максимізувати дисперсію на проекції У нас також є відмінний пост тут: .. Яка цільова функція PCA ? ). Моє запитання полягає в тому, що оптимізація PCA опукла? (Я знайшов тут …

13 machine-learning  pca  optimization  convex