Як виміряти продуктивність коду elisp?

Як я міряю ефективність свого коду elisp? Які інструменти / зовнішні пакети мені доступні для вимірювання часу?

Крім загального часу, чи можу я бачити профіль, який показує час, відведений на функцію? Чи можна також профілювати використання пам'яті?

Орієнтир

Найпростіший варіант - це вбудований benchmarkпакет. Його використання надзвичайно просте:

(benchmark 100 (form (to be evaluated)))

Він завантажується автоматично, тому навіть не потрібно цього вимагати.

Профілювання

Бенчмарк хороший у загальних тестах, але якщо у вас є проблеми з продуктивністю, він не говорить вам, які функції викликають проблему. Для цього у вас є (також вбудований) профілер .

1. Почніть з цього M-x profiler-start.
2. Зробіть кілька трудомістких операцій.
3. Отримайте звіт за допомогою M-x profiler-report.

Вас слід перенести в буфер із навігаційним деревом викликів функцій.

На додаток до відповіді @ Malabara, я схильний використовувати with-timerмакрос на замовлення, щоб постійно вводити різні частини мого коду (наприклад, мій init.elфайл).

Різниця полягає в тому, що, хоча benchmarkдозволяє вивчити продуктивність певного біта коду, який ви інструментуєте, with-timerзавжди дає вам час, витрачений у кожній інструментальній частині коду (без особливих накладних витрат на досить великі частини), що дає вам інформацію яку частину слід дослідити далі.

(defmacro with-timer (title &rest forms)
  "Run the given FORMS, counting the elapsed time.
A message including the given TITLE and the corresponding elapsed
time is displayed."
  (declare (indent 1))
  (let ((nowvar (make-symbol "now"))
        (body   `(progn ,@forms)))
    `(let ((,nowvar (current-time)))
       (message "%s..." ,title)
       (prog1 ,body
         (let ((elapsed
                (float-time (time-subtract (current-time) ,nowvar))))
           (message "%s... done (%.3fs)" ,title elapsed))))))

Приклад використання:

(with-timer "Doing things"
  (form (to (be evaluated))))

даючи наступний вихід у *Messages*буфері:

Doing things... done (0.047s)

Варто зазначити, що це максимум натхнення макросом Джона Віглі use-package-with-elapsed-timerв його відмінному use-packageрозширенні.

На додаток до відповіді @ Malabarba, зауважте, що ви можете виміряти складений час виконання коду benchmark-run-compiled. Цей показник часто набагато релевантніший за інтерпретований час виконання M-x benchmark:

ELISP> (benchmark-run (cl-loop for i below (* 1000 1000) sum i))
(0.79330082 6 0.2081620540000002)

ELISP> (benchmark-run-compiled (cl-loop for i below (* 1000 1000) sum i))
(0.047896284 0 0.0)

Три числа - загальний минулий час, кількість запущених GC та час, проведений у GC.

Бенчмаркінг - це не лише отримання чисел, а й прийняття рішень на основі аналізу результатів.

На MELPA є пакет benchstat.el, який можна використовувати для отримання функцій, передбачених програмою benstat .

Він реалізує порівняльний аналіз на основі порівняння, де ви вивчаєте Xвластивості продуктивності проти Y.

Функції Benchstat можна розглядати як benchmark-run-compiledобгортку, яка не тільки збирає інформацію, але і повертає її в легкому для читання форматі інтерпретації. Це включає:

• Проміжок часу між Xі доY
• Середній середній час
• Сума виділень

Дуже простий приклад використання:

(require 'benchstat)

;; Decide how much repetitions is needed.
;; This is the same as `benchmark-run-compiled` REPETITIONS argument.
(defconst repetitions 1000000)

;; Collect old code profile.
(benchstat-run :old repetitions (list 1 2))
;; Collect new code profile.
(benchstat-run :new repetitions (cons 1 2))

;; Display the results.
;; Can be run interactively by `M-x benchstat-compare'.
(benchstat-compare)

Результати benchstat-compareвідображаються у тимчасовому буфері:

name   old time/op    new time/op    delta
Emacs    44.2ms ± 6%    25.0ms ±15%  -43.38%  (p=0.000 n=10+10)

name   old allocs/op  new allocs/op  delta
Emacs      23.0 ± 0%      11.4 ± 5%  -50.43%  (p=0.000 n=10+10)

Вам знадобиться benchstatпрограмний двійковий файл. Якщо ви використовували мову програмування Go, швидше за все, вона вже є у вашій системі. В іншому випадку є можливість скласти його з джерел.

Попередньо складений двійковий файл для Linux / amd64 можна знайти на сторінці випуску github .