Запитання з тегом «optimization»

У книзі Nocedal & Wright про числову оптимізацію в розділі 2.2 (стор. 27) є твердження: "Загалом кажучи, простіше зберегти інваріантність масштабів для алгоритмів пошуку ліній, ніж для алгоритмів довірчих регіонів". У цьому ж розділі вони розповідають про наявність нових змінних, які є масштабованими версіями оригінальних змінних, що може допомогти як …

11 linear-algebra  optimization  numerical-analysis 

Я намагаюся зрозуміти, як працює метод сумісної оптимізації для оптимізації з обмеженою PDE. Зокрема, я намагаюся зрозуміти, чому суміжний метод є більш ефективним для проблем, де кількість змінних конструкцій велика, але "кількість рівнянь невелика". Що я розумію: Розглянемо таку проблему оптимізації з обмеженою PDE: хвβ Я(β, у (β) )с . …

11 optimization  pde 

З огляду на невідому функцію , ми можемо оцінити її значення в будь-якій точці його області, але у нас немає її вираження. Іншими словами, - це як чорний ящик для нас.f: Rг→ Rf:Rd→Rf:\mathbb R^d \to \mathbb Rfff Як називається проблема пошуку мінімізатора ? Які існують методи?fff Як називається задача пошуку …

11 optimization 

Я вирішую для величезної розрідженої позитивної визначеної матриці методом спряженого градієнта (CG). Чи можна обчислити визначник за допомогою інформації, отриманої під час вирішення?A AA x = bАх=бAx=bААAААA

11 linear-algebra  optimization  krylov-method  conjugate-gradient 

Враховуючи систему де A ∈ R n × n , я прочитав, що, якщо ітерація Якобі використовується як розв'язувач, метод не конвергується, якщо b має нульовий компонент у нульовому просторі A . Отже, як можна формально стверджувати, що за умови, що b має ненульовий компонент, що охоплює нульовий простір A …

11 linear-algebra  optimization  matrix  iterative-method  linear-solver 

Чи існує швидший спосіб обчислити стандартні помилки для задач лінійної регресії, ніж шляхом інвертування ? Тут я припускаю, що у нас є регресія:X′XX′XX'X y=Xβ+ε,y=Xβ+ε,y=X\beta+\varepsilon, де - матриця n × k і y - n × 1 вектор.XXXn×kn×kn\times kyyyn×1n×1n\times 1 Щоб знайти рішення проблеми з найменшими квадратами, недоцільно робити що-небудь із …

11 linear-algebra  optimization 

Для проекту я повинен реалізувати ці два методи та порівняти, як вони виконують різні функції. Схоже, метод спряженого градієнта призначений для вирішення систем лінійних рівнянь для Ax=bAx=b A\mathbf{x} = \mathbf{b} Де - це матриця n-by-n, яка є симетричною, позитивно-визначеною та реальною.AAA З іншого боку, коли я читаю про спуск градієнта, …

11 optimization  conjugate-gradient 

У мене є набір даних, який повільно змінюється, і мені потрібно вести облік власних векторів / власних значень його матриці коваріації. Я використовував scipy.linalg.eigh, але це занадто дорого, і це не використовує той факт, що у мене вже є розкладання, що є лише трохи неправильним. Чи може хтось запропонувати кращий …

10 linear-algebra  optimization  python  eigenvalues 

Я часто зустрічаю загальне прислів’я про те, що методи інтер'єру важко зігріти. Чи є за цією порадою інтуїтивне пояснення? Чи існують ситуації, коли можна очікувати вигоди від теплого старту методом інтер’єрної точки? Хтось може порекомендувати кілька корисних посилань на цю тему?

10 optimization  constrained-optimization 

maxf(x) subject to Ax=bmaxf(x) subject to Ax=b\max f(\mathbf{x}) \text{ subject to } \mathbf{Ax} = \mathbf{b} де , , і f(x)=∑Ni=11+x4i(∑Ni=1x2i)2−−−−−−−−−−√f(x)=∑i=1N1+xi4(∑i=1Nxi2)2f(\mathbf{x}) = \sum_{i=1}^N\sqrt{1+\frac{x_i^4}{(\sum_{i=1}^{N}x_i^2)^2}} x=[x1,x2,...,xN]T∈RN×1x=[x1,x2,...,xN]T∈RN×1\mathbf{x} = [x_1,x_2,...,x_N]^T \in \mathbb{R}^{N\times 1} A∈RM×NA∈RM×N\mathbf{A} \in \mathbb{R}^{M\times N} Ми можемо бачити, що форму і є опуклою функцією. Можна також показати, що f (.) Обмежений у .f(.)f(.)f(.)1+y2−−−−−√1+y2\sqrt{1+y^2}[2–√,2][2,2][\sqrt{2}, …

10 optimization 

У мене проблема оптимізації, яка виглядає наступним чином minJ,Bs.t.∑ij|Jij|MJ+BY=XminJ,B∑ij|Jij|s.t.MJ+BY=X \begin{array}{rl} \min_{J,B} & \sum_{ij} |J_{ij}|\\ \textrm{s.t.} & MJ + BY =X \end{array} Тут мої змінні - це матриці JJJ і BBB , але вся проблема все ще є лінійною програмою; решта змінних виправлені. Коли я намагаюся ввести цю програму в мої …

10 optimization  convex-optimization  linear-programming 

Мене цікавить максимізація функції , де .θ ∈ R pf( θ )f(θ)f(\mathbf \theta)θ ∈ Rpθ∈Rp\theta \in \mathbb R^p Проблема полягає в тому, що я не знаю аналітичної форми функції чи її похідних. Єдине, що я можу зробити - це оцінити функцію точково, додавши значення і отримати оцінку NOISY у цій …

10 optimization  monte-carlo  simulation 

Для оптимізації з Вікіпедії : В інформатиці метагеврист позначає обчислювальний метод, який оптимізує проблему, ітеративно намагаючись вдосконалити рішення кандидата щодо даного показника якості. Метагевристика робить мало припущень щодо оптимізації проблеми та може шукати дуже великі простори кандидатських рішень. Однак метагевристика не гарантує, що оптимальне рішення ніколи не знайдеться. Багато метагевристики …

10 optimization  heuristics 

Я намагаюся написати повну реалізацію SVM в Python, і у мене є кілька проблем, які обчислюють коефіцієнти Лагранжа. Спочатку дозвольте перефразувати те, що я розумію з алгоритму, щоб переконатися, що я на вірному шляху. Якщо - це набір даних, а - мітка класу , тоy i ∈ { - 1 …

10 optimization  machine-learning  support-vector-machines  quadratic-programming 

Які рекомендовані способи виконання нелінійних найменших квадратів, min , з обмеженнями поля ? Мені здається (дурні кидаються), що можна було б обмежити поле квадратичним і мінімізувати \ sum_i err_i (p) ^ 2 + C * \ sum_j tub (p_j, lo_j, hi_j) ^ 2, де tub (x, lo, привіт) "функція діжки" …

10 optimization  constraints