Django日志学习笔记

......

Posted by 呆贝斯 on May 23, 2022

四个组件

一份 Python logging 配置有下面四个部分组成:

Loggers

日志记录器是日志记录系统的入口。每个日志记录器都是一个命名桶,可将信息写入其中进行处理。logger 可以配置 日志级别。 日志级别描述了由该 logger 处理的消息的严重性。Python 定义了下面几种日志级别:

  1. DEBUG:排查故障时使用的低级别系统信息
  2. INFO:一般的系统信息
  3. WARNING:描述系统发生了一些小问题的信息
  4. ERROR:描述系统发生了大问题的信息
  5. CRITICAL:描述系统发生严重问题的信息

每一条写入 logger 的消息都是一条 日志记录。每一条日志记录也包含 日志级别,代表对应消息的严重程度。日志记录还包含有用的元数据, 来描述被记录了日志的事件细节,例如堆栈跟踪或者错误码。

当 logger 处理一条消息时,会将自己的日志级别和这条消息的日志级别做对比。如果消息的日志级别匹配或者高于 logger 的日志级别, 它就会被进一步处理。否则这条消息就会被忽略掉。

当 logger 确定了一条消息需要处理之后,会把它传给 Handler。

Handlers

处理程序是决定日志记录器中每条消息如何处理的引擎。它描述特定的日志记录行为,例如将消息写入屏幕、文件或网络套接字。和 logger 一样,handler 也有日志级别的概念。如果一条日志记录的级别不匹配或者低于 handler 的日志级别,对应的消息会被 handler 忽略。

  • logging.StreamHandler: 输出日志到控制台。
  • logging.FileHandler: 将日志写入文件。
  • logging.handlers.RotatingFileHandler: 写入文件,并在文件达到指定大小后轮换。
  • logging.handlers.TimedRotatingFileHandler: 根据时间自动轮换日志文件。

以下是一个 RotatingFileHandler 的配置例子:

'handlers': {
    'file': {
        'level': 'DEBUG',
        'class': 'logging.handlers.RotatingFileHandler',
        'filename': 'debug.log',
        'maxBytes': 1024*1024*5,  # 5 MB
        'backupCount': 5,
        'formatter': 'verbose',
    },
    # ... 其他处理器配置 ...
},

这个配置会在日志文件到达5MB时创建一个新文件,并限制备份文件的数量为5个。

一个 logger 可以有多个 handler,每一个 handler 可以有不同的日志级别。这样就可以根据消息的重要性不同,来提供不同格式的输出。 例如,你可以添加一个 handler 把 ERROR 和 CRITICAL 消息发到寻呼机,再添加另一个 handler 把所有的消息(包括 ERROR 和 CRITICAL 消息)保存到文件里以便日后分析。

Filters

默认情况下,只要级别匹配,任何日志消息都会被处理。不过,也可以通过添加 filter 来给日志处理的过程增加额外条件。 例如,可以添加一个 filter 只允许某个特定来源的 ERROR 消息输出。

Filter 还被用来在日志输出之前对日志记录做修改。例如,可以写一个 filter,当满足一定条件时,把日志记录从 ERROR 降到 WARNING 级别。

Filter 在 logger 和 handler 中都可以添加;多个 filter 可以链接起来使用,来做多重过滤操作。

Formmaters

日志记录最终需要呈现为文本。格式化器描述了文本的确切格式。格式器通常由包含 LogRecord 属性的 Python 格式化字符串组成; 不过,你也可以编写自定义格式器来实现特定的格式化行为。

配置示例

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'verbose': {
            'format': '{levelname} {asctime} {module} {message}',
            'style': '{',
        },
        'simple': {
            'format': '{levelname} {message}',
            'style': '{',
        },
    },
    'handlers': {
        'file': {
            'level': 'DEBUG',
            'class': 'logging.FileHandler',
            'filename': 'debug.log',
            'formatter': 'verbose',
        },
        'console': {
            'level': 'INFO',
            'class': 'logging.StreamHandler',
            'formatter': 'simple',
        },
    },
    'loggers': {
        'django': {
            'handlers': ['file', 'console'],
            'level': 'INFO',
        },
    },
}

这个配置定义了两个处理器:一个将日志写入debug.log文件,另一个将输出到控制台。同时指定了两种格式化方式,并为Django的日志器设置了处理器和级别。

日志记录和错误跟踪

日志的记录非常简单。在你的Django应用中,你可以这样记录日志:

import logging

logger = logging.getLogger(__name__)

def my_view(request):
    logger.info('处理请求 %s', request.path)
    try:
        # ... 你的业务逻辑 ...
    except Exception as e:
        logger.error('处理请求时发生错误:%s', e, exc_info=True)

    # ...

这段代码中,通过 getLogger() 函数获取了一个日志器,日志器的名称是当前模块的名字。然后,在视图函数中使用不同的日志级别记录信息。

Django提供了django.request 日志器来记录所有与请求处理相关的活动。你可以像下面这样配置这个日志器,并记录异常信息:

import logging

logger = logging.getLogger(__name__)

def my_view(request):
    logger.info('处理请求 %s', request.path)
    try:
        # ... 你的业务逻辑 ...
    except Exception as e:
        logger.error('处理请求时发生错误:%s', e, exc_info=True)

    # ...

这样配置后,任何未被视图捕获的异常都会被记录到指定的文件中。

编写自定义日志处理器

如果内置的处理器不能满足需求,你可以创建自己的处理器。例如,你可能想要把错误信息发送到一个在线错误追踪服务,比如Sentry:

import logging
from sentry_sdk import capture_message

class SentryHandler(logging.Handler):
    def emit(self, record):
        if record.levelno >= logging.ERROR:
            capture_message(self.format(record))

LOGGING = {
    'version': 1,
    # ... 其他配置保持不变 ...
    'handlers': {
        'sentry': {
            'level': 'ERROR',
            'class': 'path.to.your.SentryHandler',
        },
        # ... 其他处理器配置 ...
    },
    # ...
}

在这个例子中,SentryHandler 会将 ERROR 级别及以上的日志信息发送到Sentry服务。

最佳配置

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'verbose': {
            'format': '{asctime} [{levelname}] {module} {process:d} {thread:d} - {message}',
            'style': '{',
            'datefmt': '%Y-%m-%d %H:%M:%S',
        },
        'simple': {
            'format': '{levelname} {message}',
            'style': '{',
        },
    },
    'filters': {
        'require_debug_false': {
            '()': 'django.utils.log.RequireDebugFalse',
        },
        'require_debug_true': {
            '()': 'django.utils.log.RequireDebugTrue',
        },
    },
    'handlers': {
        'console': {
            'level': 'INFO',
            'class': 'logging.StreamHandler',
            'formatter': 'simple',
        },
        'mail_admins': {
            'level': 'ERROR',
            'class': 'django.utils.log.AdminEmailHandler',
            'filters': ['require_debug_false'],
        },
        'file': {
            'level': 'DEBUG',
            'class': 'logging.handlers.TimedRotatingFileHandler',
            'filename': os.path.join(LOG_DIR, 'django.log'),
            'when': 'D',  # 按天(day)分割
            'backupCount': 7,  # 保留最近7天的日志文件
            'formatter': 'verbose',
        },
    },
    'loggers': {
        'django': {
            'handlers': ['console', 'file'],
            'level': 'INFO',
            'propagate': True,
        },
        'myapp': {  # 替换为你的应用程序名
            'handlers': ['console', 'file'],
            'level': 'DEBUG',
            'propagate': False,
        },
        'django.request': {
            'handlers': ['mail_admins', 'file'],
            'level': 'ERROR',
            'propagate': False,
        },
    },
}