Коли автоматична диференціація дешева?

Автоматична диференціація дозволяє чисельно оцінити похідну програми на певному вході. Існує теорема про те, що цей обчислення може бути зроблено вартістю, меншою, ніж у п’ять разів більше, ніж запуск початкової програми. Цей коефіцієнт у п'ять є верхньою межею.

У яких ситуаціях можна зменшити цю вартість? Багато польових похідних кодів працюють із швидкістю оригінальної програми. Що робиться для отримання цього прискорення?

Які риси оригінальної програми можна використовувати для прискорення обчислень?

Які технічні прийоми програмного забезпечення можна використовувати для прискорення обчислень?

Моє обмежене розуміння AD-паралелей того, що сказав Метт. Щоб пришвидшити обчислення похідних, структура графіку виразів повинна використовувати обмеженість та дефіцит у множині якобіанських матриць. (Див. Цей документ від Griewank для більш глибокого огляду.) Прийоми інженерії програмного забезпечення, ймовірно, полягають у самому коді AD, щоб реструктурувати графік виразів, щоб скористатися цими властивостями у наборі якобіанських матриць. Знаючи, як код AD створює графік виразів з коду, який ви пишете, в свою чергу допоможе вам краще зрозуміти, як писати код, який вимагає меншої кількості обчислень. Будь-який хороший код AD вже повинен користуватися властивостями, що мають загальні вирази, але хороші коди AD важко записати.

Стандартне посилання в цій галузі - Оцінювання похідних: принципи та методи алгоритмічної диференціації, друге видання Андреаса Гриванка та Андреа Уолтер, і повинно надавати більш детальну інформацію про зменшення кількості обчислень, необхідних для оцінки похідної програми.

Будь-який AD все ще потребує надання цих властивостей, тому я не бачу, що це стосується загальної складності виразу. Я здогадуюсь, що ви можете класифікувати складність за кількістю шляхів через графік виразів, оскільки ви таким чином ви формулюєте AD. Ендрю Ліонс тут добре працює над серіально-паралельними графіками.