повідомлення журналу, що з’являються двічі за допомогою програми Python Logging

Я використовую журнал Python, і чомусь усі мої повідомлення з’являються двічі.

У мене є модуль для налаштування журналу:

# BUG: It's outputting logging messages twice - not sure why - it's not the propagate setting.
def configure_logging(self, logging_file):
    self.logger = logging.getLogger("my_logger")
    self.logger.setLevel(logging.DEBUG)
    self.logger.propagate = 0
    # Format for our loglines
    formatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s")
    # Setup console logging
    ch = logging.StreamHandler()
    ch.setLevel(logging.DEBUG)
    ch.setFormatter(formatter)
    self.logger.addHandler(ch)
    # Setup file logging as well
    fh = logging.FileHandler(LOG_FILENAME)
    fh.setLevel(logging.DEBUG)
    fh.setFormatter(formatter)
    self.logger.addHandler(fh)

Пізніше я закликаю цей метод для налаштування журналу:

if __name__ == '__main__':
    tom = Boy()
    tom.configure_logging(LOG_FILENAME)
    tom.buy_ham()

І тоді в скажімо, модуль buy_ham, я закликаю:

self.logger.info('Successfully able to write to %s' % path)

І чомусь усі повідомлення з’являються двічі. Я прокоментував один із обробників потоків, все одно те саме. Трохи дивний, не впевнений, чому це відбувається ... хаха. Якщо припустити, що я пропустив щось очевидне.

Ура, Вікторе

Ви дзвоните configure_loggingдвічі (можливо, у __init__методі Boy): getLoggerповерне той самий об'єкт, але addHandlerне перевіряє, чи схожий обробник уже доданий до реєстратора.

Спробуйте відстежити дзвінки до цього методу та усунути один із них. Або встановити прапор, logging_initializedініційований Falseу __init__методі Boyта змінити, configure_loggingщоб нічого не робити, якщо logging_initializedє True, і встановити його Trueпісля того, як ви ініціалізували реєстратор.

Якщо ваша програма створює кілька Boyекземплярів, вам доведеться змінити спосіб виконання глобальної configure_loggingфункції, додаючи обробники, і Boy.configure_loggingметод лише ініціалізує self.loggerатрибут.

Інший спосіб вирішити це - перевірити атрибут handlers вашого реєстратора:

logger = logging.getLogger('my_logger')
if not logger.handlers:
    # create the handlers and call logger.addHandler(logging_handler)

Якщо ви бачите цю проблему і не додаєте обробник двічі, дивіться відповідь abarnert тут

З документів :

Примітка. Якщо ви приєднаєте обробник до реєстратора та одного або декількох його предків, він може випускати один і той же запис кілька разів. Загалом, вам не потрібно прикріплювати обробник до більш ніж одного реєстратора - якщо ви просто приєднаєте його до відповідного реєстратора, який є найвищим в ієрархії реєстраторів, то він побачить усі події, зафіксовані усіма нащадками, за умови їх поширення. для параметра лівого значення встановлено значення True. Поширений сценарій - приєднувати обробники лише до кореневого реєстратора, а розповсюдження дозволити піклуватися про інше.

Отже, якщо ви хочете користувальницький обробник на "тесті", і ви не хочете, щоб його повідомлення також надходили до кореневого обробника, відповідь проста: вимкніть його розповсюдження прапор:

logger.propagate = Неправильно

Обробник додається щоразу, коли ви телефонуєте ззовні. Спробуйте видалити обробник після закінчення роботи:

self.logger.removeHandler(ch)

Я новачок в пітоні, але це, здавалося, працює для мене (Python 2.7)

while logger.handlers:
     logger.handlers.pop()

У моєму випадку я б налаштовувався logger.propagate = Falseна запобігання подвійного друку.

Знизу код, якщо ви видалите, logger.propagate = Falseви побачите подвійний друк.

import logging
from typing import Optional

_logger: Optional[logging.Logger] = None

def get_logger() -> logging.Logger:
    global _logger
    if _logger is None:
        raise RuntimeError('get_logger call made before logger was setup!')
    return _logger

def set_logger(name:str, level=logging.DEBUG) -> None:
    global _logger
    if _logger is not None:
        raise RuntimeError('_logger is already setup!')
    _logger = logging.getLogger(name)
    _logger.handlers.clear()
    _logger.setLevel(level)
    ch = logging.StreamHandler()
    ch.setLevel(level)
    # warnings.filterwarnings("ignore", "(Possibly )?corrupt EXIF data", UserWarning)
    ch.setFormatter(_get_formatter())
    _logger.addHandler(ch)
    _logger.propagate = False # otherwise root logger prints things again


def _get_formatter() -> logging.Formatter:
    return logging.Formatter(
        '[%(asctime)s] [%(name)s] [%(levelname)s] %(message)s')

Дзвінок на logging.debug()дзвінки, logging.basicConfig()якщо не встановлено кореневих обробників. Це сталося для мене в рамках тестування, де я не міг контролювати порядок запуску тестових справ. Мій код ініціалізації встановлював другий. За замовчуванням використовується реєстрація.BASIC_FORMAT, яку я не хотів.

Здається, що якщо ви щось виведете до реєстратора (випадково), то налаштуйте його, це вже пізно. Наприклад, у мене був код

logging.warning("look out)"

...
ch = logging.StreamHandler(sys.stdout)
root = logging.getLogger()
root.addHandler(ch)

root.info("hello")

Я отримаю щось на зразок (ігнорування параметрів формату)

look out
hello
hello

і все було написано в stdout двічі. Я вважаю, що це тому, що перший виклик logging.warningстворює новий обробник автоматично, а потім явно додав ще один обробник. Проблема усунулася, коли я видалив випадковий перший logging.warningдзвінок.

У мене виникла дивна ситуація, коли журнали консолей були подвоєні, але мої файли не були. Після тонни копання я зрозумів це.

Зауважте, що сторонні пакети можуть реєструвати реєстратори. На це слід спостерігати (а в деяких випадках не можна запобігти). У багатьох випадках код третьої сторони перевіряє, чи є наявні обробники кореневих реєстраторів; а якщо немає - вони реєструють новий обробник консолі.

Моє рішення для цього полягало в тому, щоб зареєструвати мій консольний реєстратор на кореневому рівні:

rootLogger = logging.getLogger()  # note no text passed in--that's how we grab the root logger
if not rootLogger.handlers:
        ch = logging.StreamHandler()
        ch.setLevel(logging.INFO)
        ch.setFormatter(logging.Formatter('%(process)s|%(levelname)s] %(message)s'))
        rootLogger.addHandler(ch)