Python 实现训练日志文件写入与控制台同步输出

Chloe

发布时间：2026-10-14 | 4人浏览过

原创

本文介绍如何利用Python内置的logging模块，在深度学习训练过程中同时向控制台和日志文件输出信息。通过自定义日志格式和处理器，实现按时间戳自动命名日志文件，解决远程监控模型训练进度时无法实时查看控制台输出的问题，并提供完整的Python代码实现。

背景与需求

1. 背景

在深度学习任务中，模型训练往往需要耗费较长时间，因此研究人员通常会离开电脑进行其他工作。为了有效跟踪模型的表现，

观察模型的 accuracy（准确率）以及 loss（损失值）时，传统做法通常是在控制台使用 print 语句输出，或者直接利用 tensorboard 进行可视化监控。

然而，若需要在远程环境中观察模型训练表现，一个能够持续记录数据的 log 文件就显得至关重要。

（如果您希望不在实验室环境下，通过远程访问正在运行网络训练的服务器上的 Jupyter Notebook 来实时查看实验进度，请参考——远程连接服务器端 Jupyter Notebook）

实现 logging 函数

2. logging 函数

创建 .log 文件并将部分数据同步输出到控制台，可以通过 Python 的 logging 函数轻松实现。

这里直接提供代码示例：以下函数会在您指定的日志保存路径——output_dir 下生成一个 .log 文件，文件名以“年.月.日.时.分”的格式命名，从而避免文件名重复冲突。

核心代码实现


import logging
import time
import os
def log_creater(output_dir):
  if not os.path.exists(output_dir):
    os.makedirs(output_dir)
  log_name = '{}.log'.format(time.strftime('%Y-%m-%d-%H-%M'))
  final_log_file = os.path.join(output_dir,log_name)
  # creat a log
  log = logging.getLogger('train_log')
  log.setLevel(logging.DEBUG)

  # FileHandler
  file = logging.FileHandler(final_log_file)
  file.setLevel(logging.DEBUG)

  # StreamHandler
  stream = logging.StreamHandler()
  stream.setLevel(logging.DEBUG)

  # Formatter
  formatter = logging.Formatter(
    '[%(asctime)s][line: %(lineno)d] ==> %(message)s')

  # setFormatter
  file.setFormatter(formatter)
  stream.setFormatter(formatter)

  # addHandler
  log.addHandler(file)
  log.addHandler(stream)

  log.info('creating {}'.format(final_log_file))
  return log