Який профілер пам'яті Python рекомендується використовувати? [зачинено]

Я хочу знати, як використовується пам'ять мого додатку Python, і конкретно хочу знати, які кодові блоки / частини або об'єкти споживають найбільше пам'яті. Пошук Google показує, що комерційний - це Python Memory Validator (лише для Windows).

І з відкритим кодом - PySizer та Heapy .

Я нікого не пробував, тому хотів дізнатися, хто з них найкращий:

1. Дає більшість деталей.

2. Я повинен робити чи не міняти свій код.

Heapy досить простий у використанні. У якийсь момент вашого коду ви повинні написати наступне:

from guppy import hpy
h = hpy()
print(h.heap())

Це дає вам такий вихід:

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
0  35144  27  2140412  26   2140412  26 str
1  38397  29  1309020  16   3449432  42 tuple
2    530   0   739856   9   4189288  50 dict (no owner)

Ви також можете дізнатися, звідки на посилання на об’єкти, і отримати статистику щодо цього, але якимось чином документи на них трохи рідкісні.

Також є графічний браузер, написаний на Tk.

Оскільки про це ніхто не згадував, я вкажу на мій модуль memory_profiler, який здатний друкувати по черзі звіт про використання пам’яті та працює в Unix та Windows (потрібен psutil на цьому останньому). Результат не дуже детальний, але мета полягає в тому, щоб дати вам огляд того, де код витрачає більше пам’яті, а не вичерпний аналіз виділених об’єктів.

Після прикраси функції @profileта запуску коду з -m memory_profilerпрапором він надрукує звіт за рядком так:

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

Я рекомендую Dowser . Налаштувати його дуже просто, і вам потрібні нульові зміни у вашому коді. Ви можете переглядати кількість об'єктів кожного типу за часом, переглядати список живих об’єктів, переглядати посилання на живі об’єкти, все з простого веб-інтерфейсу.

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.server.quickstart()
    cherrypy.engine.start(blocking=False)

Ви імпортуєте memdebug та викликаєте memdebug.start. Це все.

Я ще не пробував PySizer або Heapy. Буду вдячний за відгуки інших.

ОНОВЛЕННЯ

Вище код для CherryPy 2.X, метод був вилучений і не приймає прапор. Тож якщо ви користуєтесьCherryPy 3.Xserver.quickstartengine.startblockingCherryPy 3.X

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.engine.start()

Розгляньте бібліотеку обґграфів (дивhttp://www.lshift.net/blog/2008/11/14/tracing-python-memory-leaks для прикладу використання випадку).

Muppy - це (ще один) Профілер використання пам'яті для Python. Цей набір інструментів зосереджено на виявленні витоків пам'яті.

Muppy намагається допомогти розробникам у витоку пам’яті ідентичності програм Python. Це дозволяє відстежувати використання пам'яті під час виконання та виявляти об'єкти, що протікають. Додатково надаються інструменти, які дозволяють знайти джерело не випущених об'єктів.

Я розробляю профайл пам'яті для Python під назвою memprof:

http://jmdana.github.io/memprof/

Це дозволяє реєструвати та побудувати графік використання пам'яті ваших змінних під час виконання декорованих методів. Вам просто потрібно імпортувати бібліотеку за допомогою:

from memprof import memprof

І прикрасьте свій метод, використовуючи:

@memprof

Це приклад того, як виглядають сюжети:

Проект розміщується в GitHub:

https://github.com/jmdana/memprof

Я знайшов Мелію бути набагато більш функціональною , ніж безформна або PySizer. Якщо вам трапиться бути запущений WSGI веб - додаток, а потім бульдозер хороший проміжного обгортка Dowser

Спробуйте також проект pytracemalloc, який забезпечує використання пам'яті на номер рядка Python.

EDIT (2014/04): Тепер він має Qt GUI для аналізу знімків.