四个组件
一份 Python logging 配置有下面四个部分组成:
Loggers
日志记录器是日志记录系统的入口。每个日志记录器都是一个命名桶,可将信息写入其中进行处理。logger 可以配置 日志级别。 日志级别描述了由该 logger 处理的消息的严重性。Python 定义了下面几种日志级别:
- DEBUG:排查故障时使用的低级别系统信息
- INFO:一般的系统信息
- WARNING:描述系统发生了一些小问题的信息
- ERROR:描述系统发生了大问题的信息
- CRITICAL:描述系统发生严重问题的信息
每一条写入 logger 的消息都是一条 日志记录。每一条日志记录也包含 日志级别,代表对应消息的严重程度。日志记录还包含有用的元数据, 来描述被记录了日志的事件细节,例如堆栈跟踪或者错误码。
当 logger 处理一条消息时,会将自己的日志级别和这条消息的日志级别做对比。如果消息的日志级别匹配或者高于 logger 的日志级别, 它就会被进一步处理。否则这条消息就会被忽略掉。
当 logger 确定了一条消息需要处理之后,会把它传给 Handler。
Handlers
处理程序是决定日志记录器中每条消息如何处理的引擎。它描述特定的日志记录行为,例如将消息写入屏幕、文件或网络套接字。和 logger 一样,handler 也有日志级别的概念。如果一条日志记录的级别不匹配或者低于 handler 的日志级别,对应的消息会被 handler 忽略。
- logging.StreamHandler: 输出日志到控制台。
- logging.FileHandler: 将日志写入文件。
- logging.handlers.RotatingFileHandler: 写入文件,并在文件达到指定大小后轮换。
- logging.handlers.TimedRotatingFileHandler: 根据时间自动轮换日志文件。
以下是一个 RotatingFileHandler 的配置例子:
'handlers': {
'file': {
'level': 'DEBUG',
'class': 'logging.handlers.RotatingFileHandler',
'filename': 'debug.log',
'maxBytes': 1024*1024*5, # 5 MB
'backupCount': 5,
'formatter': 'verbose',
},
# ... 其他处理器配置 ...
},
这个配置会在日志文件到达5MB时创建一个新文件,并限制备份文件的数量为5个。
一个 logger 可以有多个 handler,每一个 handler 可以有不同的日志级别。这样就可以根据消息的重要性不同,来提供不同格式的输出。 例如,你可以添加一个 handler 把 ERROR 和 CRITICAL 消息发到寻呼机,再添加另一个 handler 把所有的消息(包括 ERROR 和 CRITICAL 消息)保存到文件里以便日后分析。
Filters
默认情况下,只要级别匹配,任何日志消息都会被处理。不过,也可以通过添加 filter 来给日志处理的过程增加额外条件。 例如,可以添加一个 filter 只允许某个特定来源的 ERROR 消息输出。
Filter 还被用来在日志输出之前对日志记录做修改。例如,可以写一个 filter,当满足一定条件时,把日志记录从 ERROR 降到 WARNING 级别。
Filter 在 logger 和 handler 中都可以添加;多个 filter 可以链接起来使用,来做多重过滤操作。
Formmaters
日志记录最终需要呈现为文本。格式化器描述了文本的确切格式。格式器通常由包含 LogRecord 属性的 Python 格式化字符串组成; 不过,你也可以编写自定义格式器来实现特定的格式化行为。
配置示例
LOGGING = {
'version': 1,
'disable_existing_loggers': False,
'formatters': {
'verbose': {
'format': '{levelname} {asctime} {module} {message}',
'style': '{',
},
'simple': {
'format': '{levelname} {message}',
'style': '{',
},
},
'handlers': {
'file': {
'level': 'DEBUG',
'class': 'logging.FileHandler',
'filename': 'debug.log',
'formatter': 'verbose',
},
'console': {
'level': 'INFO',
'class': 'logging.StreamHandler',
'formatter': 'simple',
},
},
'loggers': {
'django': {
'handlers': ['file', 'console'],
'level': 'INFO',
},
},
}
这个配置定义了两个处理器:一个将日志写入debug.log文件,另一个将输出到控制台。同时指定了两种格式化方式,并为Django的日志器设置了处理器和级别。
日志记录和错误跟踪
日志的记录非常简单。在你的Django应用中,你可以这样记录日志:
import logging
logger = logging.getLogger(__name__)
def my_view(request):
logger.info('处理请求 %s', request.path)
try:
# ... 你的业务逻辑 ...
except Exception as e:
logger.error('处理请求时发生错误:%s', e, exc_info=True)
# ...
这段代码中,通过 getLogger() 函数获取了一个日志器,日志器的名称是当前模块的名字。然后,在视图函数中使用不同的日志级别记录信息。
Django提供了django.request 日志器来记录所有与请求处理相关的活动。你可以像下面这样配置这个日志器,并记录异常信息:
import logging
logger = logging.getLogger(__name__)
def my_view(request):
logger.info('处理请求 %s', request.path)
try:
# ... 你的业务逻辑 ...
except Exception as e:
logger.error('处理请求时发生错误:%s', e, exc_info=True)
# ...
这样配置后,任何未被视图捕获的异常都会被记录到指定的文件中。
编写自定义日志处理器
如果内置的处理器不能满足需求,你可以创建自己的处理器。例如,你可能想要把错误信息发送到一个在线错误追踪服务,比如Sentry:
import logging
from sentry_sdk import capture_message
class SentryHandler(logging.Handler):
def emit(self, record):
if record.levelno >= logging.ERROR:
capture_message(self.format(record))
LOGGING = {
'version': 1,
# ... 其他配置保持不变 ...
'handlers': {
'sentry': {
'level': 'ERROR',
'class': 'path.to.your.SentryHandler',
},
# ... 其他处理器配置 ...
},
# ...
}
在这个例子中,SentryHandler 会将 ERROR 级别及以上的日志信息发送到Sentry服务。
最佳配置
LOGGING = {
'version': 1,
'disable_existing_loggers': False,
'formatters': {
'verbose': {
'format': '{asctime} [{levelname}] {module} {process:d} {thread:d} - {message}',
'style': '{',
'datefmt': '%Y-%m-%d %H:%M:%S',
},
'simple': {
'format': '{levelname} {message}',
'style': '{',
},
},
'filters': {
'require_debug_false': {
'()': 'django.utils.log.RequireDebugFalse',
},
'require_debug_true': {
'()': 'django.utils.log.RequireDebugTrue',
},
},
'handlers': {
'console': {
'level': 'INFO',
'class': 'logging.StreamHandler',
'formatter': 'simple',
},
'mail_admins': {
'level': 'ERROR',
'class': 'django.utils.log.AdminEmailHandler',
'filters': ['require_debug_false'],
},
'file': {
'level': 'DEBUG',
'class': 'logging.handlers.TimedRotatingFileHandler',
'filename': os.path.join(LOG_DIR, 'django.log'),
'when': 'D', # 按天(day)分割
'backupCount': 7, # 保留最近7天的日志文件
'formatter': 'verbose',
},
},
'loggers': {
'django': {
'handlers': ['console', 'file'],
'level': 'INFO',
'propagate': True,
},
'myapp': { # 替换为你的应用程序名
'handlers': ['console', 'file'],
'level': 'DEBUG',
'propagate': False,
},
'django.request': {
'handlers': ['mail_admins', 'file'],
'level': 'ERROR',
'propagate': False,
},
},
}