Python logging多进程日志安全写入方案

咖啡半糖

发布时间：2026-10-13 | 3人浏览过

原创

本文详解Python logging模块在多进程环境下的日志写入问题。标准logging模块线程安全但多进程不安全，本文通过引入ConcurrentLogHandler实现多进程共享日志文件的安全写入，并演示如何配置RotatingFileHandler进行按大小分割，解决日志丢失与冲突问题。

前言

在开发Python后台服务时，记录程序运行状态及错误详情是调试与分析的关键环节。Python内置的logging模块为此提供了完善的支持，帮助开发者高效管理日志输出。

logging模块支持设置不同的日志级别，包括DEBUG、INFO、WARNING、ERROR和CRITICAL。例如，在开发调试阶段可输出DEBUG及以上级别日志，而在生产环境中通常仅输出INFO级别（默认级别为WARNING）。

该模块支持将日志输出至命令行或文件，并具备按时间或文件大小自动分割日志文件的功能，便于长期运行服务的日志管理。

关于logging模块的基础用法，官方文档已有详尽介绍，此处不再赘述，读者可参考官方文档或相关教程。

logging的配置

实际应用中，通常需要将日志持久化到文件，并配置自动分割机制以防止单个日志文件过大。以下是一个标准的logging配置示例。

import logging.config
 
logging.config.dictConfig({
 'version': 1,
 'disable_existing_loggers': True,
 'formatters': {
  'verbose': {
   'format': "[%(asctime)s] %(levelname)s [%(name)s:%(lineno)s] %(message)s",
   'datefmt': "%Y-%m-%d %H:%M:%S"
  },
  'simple': {
   'format': '%(levelname)s %(message)s'
  },
 },
 'handlers': {
  'null': {
   'level': 'DEBUG',
   'class': 'logging.NullHandler',
  },
  'console': {
   'level': 'DEBUG',
   'class': 'logging.StreamHandler',
   'formatter': 'verbose'
  },
  'file': {
   'level': 'DEBUG',
   'class': 'logging.RotatingFileHandler',
   # 当达到10MB时分割日志
   'maxBytes': 1024 * 1024 * 10,
   # 最多保留50份文件
   'backupCount': 50,
   # If delay is true,
   # then file opening is deferred until the first call to emit().
   'delay': True,
   'filename': 'logs/mysite.log',
   'formatter': 'verbose'
  }
 },
 'loggers': {
  '': {
   'handlers': ['file'],
   'level': 'info',
  },
 }
})

在模块内部，可通过以下方式初始化并记录日志。

import logging
logger = logging.getLogger(__name__)
 
if __name__ == '__main__':
 logger.info('log info')

多进程环境下的使用

根据官方文档，logging模块是线程安全的，即同一进程内的多个线程同时向同一文件写入日志是安全的。然而，多个进程同时向同一文件写入日志并非安全操作。官方建议如下：

Because there is no standard way to serialize access to a single file across multiple processes in Python. If you need to log to a single file from multiple processes, one way of doing this is to have all the processes log to a SocketHandler, and have a separate process which implements a socket server which reads from the socket and logs to file. (If you prefer, you can dedicate one thread in one of the existing processes to perform this function.)

有人可能认为不使用多进程即可避免此问题。但Python存在全局解释器锁（GIL）机制，多线程无法充分利用多核CPU性能。因此，大多数高性能场景仍需采用多进程模式，这就不可避免地涉及多进程下的日志写入问题。

为解决该问题，可使用ConcurrentLogHandler库。该库支持在多进程环境下安全地将日志写入同一文件，并支持按文件大小分割日志。需要注意的是，标准的logging模块中用于按时间分割的TimedRotatingFileHandler类，ConcurrentLogHandler并不直接支持此功能。

需修改handlers配置中的class参数，将RotatingFileHandler替换为ConcurrentRotatingFileHandler。

logging.config.dictConfig({
 ...
 'handlers': {
  'file': {
   'level': 'DEBUG',
   # 如果没有使用并发的日志处理类，在多实例的情况下日志会出现缺失
   'class': 'cloghandler.ConcurrentRotatingFileHandler',
   # 当达到10MB时分割日志
   'maxBytes': 1024 * 1024 * 10,
   # 最多保留50份文件
   'backupCount': 50,
   # If delay is true,
   # then file opening is deferred until the first call to emit().
   'delay': True,
   'filename': 'logs/mysite.log',
   'formatter': 'verbose'
  }
 },
 ...
})

运行程序后，系统会自动生成一个.lock文件，通过文件锁机制确保多进程写入日志的安全性。

总结

本文介绍了Python logging在多进程环境下的配置与优化方案，希望能为读者在Python开发中处理日志问题提供参考。如有疑问，欢迎留言交流。