Перезавантаження підмодулів в IPython

В даний час я працюю над проектом python, який містить підмодулі та використовує numpy / scipy. Ipython використовується як інтерактивна консоль. На жаль, я не дуже задоволений робочим процесом, яким зараз користуюся, я буду вдячний за пораду.

У IPython фреймворк завантажується простою importкомандою. Однак часто потрібно змінювати код в одному з підмодулів фреймворку. На даний момент модель вже завантажена, і я використовую IPython для взаємодії з нею.

Тепер рамка містить безліч модулів, які залежать один від одного, тобто коли спочатку завантажується рамка, основний модуль імпортує та налаштовує підмодулі. Зміни коду виконуються лише у випадку, якщо модуль перезавантажений за допомогою reload(main_mod.sub_mod). Це громіздко, оскільки мені потрібно перезавантажувати всі змінені модулі окремо, використовуючи повний шлях. Було б дуже зручно, якби ви reload(main_module)також перезавантажили всі підмодулі, але без перезавантаження numpy / scipy ..

IPython постачається з деяким автоматичним перезавантаженням магією :

%load_ext autoreload
%autoreload 2

Він буде перезавантажувати всі змінені модулі кожного разу перед виконанням нового рядка. Те, як це працює, дещо відрізняється відdreload . Деякі застереження застосовуються, введіть, %autoreload?щоб побачити, що може піти не так.

Якщо ви хочете завжди включати ці налаштування, змініть ваш файл конфігурації IPython ~/.ipython/profile_default/ipython_config.py [1] та додайте:

c.InteractiveShellApp.extensions = ['autoreload']     
c.InteractiveShellApp.exec_lines = ['%autoreload 2']

Кредит до @Kos через коментар нижче.

[1] Якщо у вас немає файлу ~/.ipython/profile_default/ipython_config.py, вам потрібно зателефонувати ipython profile createспочатку. Або файл може бути розташований за адресою $IPYTHONDIR.

У IPython 0,12 (а можливо і раніше) ви можете використовувати це:

%load_ext autoreload
%autoreload 2

Це по суті те саме, що відповідь pv. , за винятком того, що розширення було перейменовано та тепер завантажено за допомогою %load_ext.

Чомусь ні %autoreload, ні, dreloadздається, не працюють у ситуації, коли ви імпортуєте код з одного ноутбука в інший . Тільки звичайний Python reloadпрацює:

reload(module)

На основі [1] .

IPython пропонує dreload()рекурсивно перезавантажувати всі підмодулі. Особисто я вважаю за краще використовувати %run()магічну команду (хоча вона не виконує глибокого перезавантаження, на що в коментарях вказував Джон Салватиє).

Модуль з іменем importlibдозволяє отримати доступ до внутрішніх імпортів. Особливо, він забезпечує функцію importlib.reload():

import importlib
importlib.reload(my_module)

Навпаки %autoreload, importlib.reload()також скидайте глобальні змінні, встановлені в модулі. У більшості випадків це те, що ви хочете.

importlibдоступний лише з Python 3.1. Для старшої версії потрібно використовувати модуль imp.

http://shawnleezx.github.io/blog/2015/08/03/some-notes-on-ipython-startup-script/

Щоб увімкнути цю магічну функцію знову і знову, їх можна помістити в сценарій запуску ipython (Назвіть це за допомогою суфікса .py під .ipython / profile_default / startup. Усі сценарії python у цій папці завантажуватимуться відповідно до лексичного порядку), який виглядає наступним чином:

from IPython import get_ipython
ipython = get_ipython()

ipython.magic("pylab")
ipython.magic("load_ext autoreload")
ipython.magic("autoreload 2")

Як щодо цього:

import inspect

# needs to be primed with an empty set for loaded
def recursively_reload_all_submodules(module, loaded=None):
    for name in dir(module):
        member = getattr(module, name)
        if inspect.ismodule(member) and member not in loaded:
            recursively_reload_all_submodules(member, loaded)
    loaded.add(module)
    reload(module)

import mymodule
recursively_reload_all_submodules(mymodule, set())

Це повинно ефективно перезавантажити все дерево модулів і підмодулів, які ви їм надаєте. Ви також можете помістити цю функцію у свій .ipythonrc (я думаю), щоб вона завантажувалась кожного разу при запуску перекладача.

Ще один варіант:

$ cat << EOF > ~/.ipython/profile_default/startup/50-autoreload.ipy
%load_ext autoreload
%autoreload 2
EOF

Перевірено на ipython та ipython3 v5.1.0 на Ubuntu 14.04.

Моя стандартна практика перезавантаження - поєднувати обидва способи після першого відкриття IPython:

from IPython.lib.deepreload import reload
%load_ext autoreload
%autoreload 2

Завантаження модулів перед цим призведе до того, що вони не будуть перезавантажені навіть у посібнику reload(module_name). У мене все ще, дуже рідко, виникають незрозумілі проблеми з методами класу, які не перезавантажуються, які я ще не вивчав.

Зауважте, що вищезгадане autoreloadпрацює лише в IntelliJ, якщо ви вручну зберігаєте змінений файл (наприклад, використовуючи ctrl + s або cmd + s). Схоже, це не працює з автоматичним збереженням.

На ноутбуках Юпітера про Анаконда:

%load_ext autoreload
%autoreload 2

видав повідомлення:

Розширення автозавантаження вже завантажено. Щоб перезавантажити його, використовуйте: %reload_ext autoreload

Схоже, це краще робити:

%reload_ext autoreload
%autoreload 2

Інформація про версію:

Версія сервера ноутбуків 5.0.0 і працює на: Python 3.6.2 | Anaconda, Inc. | (за замовчуванням, 20 вересня 2017, 13:35:58) [MSC v.1900 32 біт (Intel)]

Будь-які суб’єкти не будуть перезавантажені цим, я вважаю, що вам доведеться використовувати для цього поглиблення IPython.