Python Logging - вимкнути журналювання з імпортованих модулів

Я використовую модуль реєстрації Python і хочу відключити повідомлення журналу, надруковані сторонніми модулями, які я імпортую. Наприклад, я використовую щось на зразок наступного:

logger = logging.getLogger()
logger.setLevel(level=logging.DEBUG)
fh = logging.StreamHandler()
fh_formatter = logging.Formatter('%(asctime)s %(levelname)s %(lineno)d:%(filename)s(%(process)d) - %(message)s')
fh.setFormatter(fh_formatter)
logger.addHandler(fh)

Це друкує мої повідомлення про налагодження, коли я роблю logger.debug ("моє повідомлення!"), Але також друкує повідомлення про налагодження з будь-якого модуля, який я імпортую (наприклад, запити та ряд інших речей).

Я хотів би бачити лише повідомлення журналу від модулів, які мене цікавлять. Чи можна змусити модуль реєстрації робити це?

В ідеалі, я хотів би мати можливість сказати реєстратору друкувати повідомлення з "ModuleX, ModuleY" і ігнорувати всі інші.

Я розглянув наступне, але не хочу вимикати / вмикати журналювання перед кожним викликом імпортованої функції: журналювання - як ігнорувати журнали імпортованих модулів?

Проблема полягає в тому, що виклик getLoggerбез аргументів повертає кореневий реєстратор, тому, коли ви встановлюєте рівень, logging.DEBUGви також встановлюєте рівень для інших модулів, які використовують цей реєстратор.

Ви можете вирішити це, просто не використовуючи кореневий реєстратор. Для цього просто передайте ім'я як аргумент, наприклад ім'я вашого модуля:

logger = logging.getLogger('my_module_name')
# as before

це створить новий реєстратор і, отже, мимоволі не змінить рівень реєстрації для інших модулів.

Очевидно, вам доведеться використовувати logger.debugзамість, logging.debugоскільки остання є зручною функцією, яка викликає debugметод кореневого реєстратора.

Про це згадується в Підручнику з розширеного журналювання . Це також дозволяє знати, який модуль спростував повідомлення журналу.

Якщо ви збираєтеся використовувати loggingпакет python , загальноприйнятою умовою є визначення реєстратора в кожному модулі, який його використовує.

logger = logging.getLogger(__name__)

Багато популярних пакетів python роблять це, в тому числі requests. Якщо пакет використовує цю умову, легко ввімкнути / вимкнути ведення журналу для нього, оскільки ім'я журналу буде збігатися з пакетом (або буде потомком цього реєстратора). Ви навіть можете записати його в той самий файл, що й інші реєстратори.

logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)

requests_logger = logging.getLogger('requests')
requests_logger.setLevel(logging.DEBUG)

handler = logging.StreamHandler()
handler.setLevel(logging.DEBUG)
logger.addHandler(handler)
requests_logger.addHandler(handler)

Не впевнений, чи це доречно розміщувати, але я застряг довгий час і хотів допомогти комусь із тим самим питанням, оскільки я його ніде не знайшов!

Я отримував журнали налагодження з matplotlib, незважаючи на те, що я дотримувався досить простої документації в розширеному підручнику реєстрації та усунення несправностей . Я ініціював реєстратор main()одного файлу та імпортував функцію для створення ділянки з іншого файлу (куди я імпортував matplotlib).

У мене спрацювало встановлення рівня matplotlib перед імпортом, а не після, як це було для інших модулів у моєму головному файлі. Мені це здавалося неінтуїтивним, тому, якщо хтось має уявлення про те, як ви можете встановити конфігурацію для журналу, який ще не був імпортований, мені було б цікаво дізнатись, як це працює. Дякую!

У моєму головному файлі:

import logging
import requests
logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)
logging.getLogger('requests').setLevel(logging.DEBUG)

def main():
  ...

У моєму plot.pyфайлі:

import logging
logging.getLogger('matplotlib').setLevel(logging.WARNING)
import matplotlib.pyplot as plt

def generatePlot():
  ...

@Bakuriu досить елегантно пояснює цю функцію. І навпаки, ви можете використовувати getLogger()метод для отримання та переналаштування / вимкнення небажаних реєстраторів.

Я також хотів додати, що logging.fileConfig()метод приймає вибраний параметр, disable_existing_loggersякий вимкне будь-які журнали, визначені раніше (тобто в імпортованих модулях).

Це вимикає всі існуючі реєстратори, наприклад, створені імпортованими модулями, одночасно використовуючи кореневий реєстратор (і без необхідності завантажувати зовнішній файл).

logging.config.dictConfig({
    'version': 1,
    'disable_existing_loggers': True,
})

Зверніть увагу, що вам потрібно імпортувати всі модулі, які ви не хочете реєструвати спочатку! В іншому випадку вони не вважатимуться "існуючими реєстраторами". Потім він вимкне всі реєстратори з цих модулів. Це може призвести до того, що ви також пропустите важливі помилки!

Детальніші приклади використання відповідних параметрів для налаштування див. На https://gist.github.com/st4lk/6287746 , і ось (частково працює) приклад використання YAML для налаштування з coloredlogбібліотекою.

Ви можете використовувати щось на зразок:

logging.getLogger("imported_module").setLevel(logging.WARNING)
logging.getLogger("my_own_logger_name").setLevel(logging.DEBUG)

Це встановить рівень журналу мого власного модуля DEBUG, одночасно заважаючи імпортованому модулю використовувати той самий рівень.

Примітка: "imported_module"може бути замінено на imported_module.__name__(без лапок), а "my_own_logger_name"може бути замінено на, __name__якщо саме так ви віддаєте перевагу робити.

У мене була та сама проблема. У мене є файл logging_config.py, який я імпортую у всі інші файли py. У файлі logging_config.py я встановив рівень реєстрації кореневого реєстратора на ПОМИЛКА (за замовчуванням це попередження):

logging.basicConfig(
    handlers=[
        RotatingFileHandler('logs.log',maxBytes=1000, backupCount=2),
        logging.StreamHandler(), #print to console
    ],
    level=logging.ERROR
)

В інші модулі я імпортую logging_config.py та оголошую новий реєстратор та встановлюю його рівень на налагодження:

log = logging.getLogger(__name__)
log.setLevel(logging.DEBUG)

Таким чином, все, що я реєструю у своїх файлах py, реєструється, але речі, що реєструються на рівні налагодження та інформації за допомогою імпортованих модулів, таких як urllib, request, boto3 тощо, не реєструються. Якщо в цьому модулі імпорту є якась помилка, тоді його запис реєструється, оскільки я встановив рівень кореневих реєстраторів на ERROR.

Інша річ, яку слід врахувати, - властивість розповсюдження класу Logger.

Наприклад, бібліотека py-pene для обробки викликів мила, навіть поміщена в ERROR

logging.getLogger('suds.client').setLevel(logging.ERROR)
logging.getLogger('suds.transport').setLevel(logging.ERROR)
logging.getLogger('suds.xsdschema').setLevel(logging.ERROR)
logging.getLogger('suds.wsdl').setLevel(logging.ERROR)

журнали журнали про модуль, який називається sxbasics.py createg величезна кількість журналів

що оскільки розповсюдження журналів за замовчуванням є True, встановивши значення False, я відновив 514 МБ журналів.

import logging
logging.getLogger("suds").propagate = False
logging.getLogger('suds.client').setLevel(logging.ERROR)
logging.getLogger('suds.transport').setLevel(logging.ERROR)
logging.getLogger('suds.xsdschema').setLevel(logging.ERROR)
logging.getLogger('suds.wsdl').setLevel(logging.ERROR)