Python fileinput 模块实战指南：多文件遍历、原地修改与正则过滤

一、fileinput 模块核心机制与适用场景

在处理单个或批量文本文件时，fileinput 模块的 input() 函数返回的是一个惰性迭代对象。与一次性加载所有行的 readlines() 不同，fileinput 每次仅生成一行，大幅降低大文件的内存开销。该模块天然支持从标准输入（stdin）重定向读取，也可接收文件路径列表，是构建命令行数据处理脚本的首选工具。

二、关键参数与内置函数说明

初始化文件迭代对象时，可通过以下参数控制行为：

• files：接受字符串或路径列表。默认为 None（即读取 sys.stdin），多文件示例为 ['a.txt', 'b.txt']。
• inplace：布尔值。设为 True 时，会将程序的 stdout 重定向回原文件，实现原地修改。修改前会自动创建备份。
• backup：指定备份文件的后缀（如 '.bak'）。若设为空字符串，则跳过备份。
• bufsize：缓冲区大小，默认 0 由系统自适应。
• openhook：用于自定义打开文件的行为，常用于处理非默认编码的文件。

在循环内部，可通过以下函数获取上下文元数据：

• fileinput.filename()：当前正在读取的文件路径。
• fileinput.lineno()：累计读取的行数（跨文件连续计数）。
• fileinput.filelineno()：当前文件内的行号。
• fileinput.isfirstline()：判断是否为新文件的第一行。
• fileinput.close()：关闭当前迭代队列，释放资源。

三、典型操作与实战示例

第1步：通过命令行或列表传入文件进行逐行读取

目的：快速遍历指定路径列表中的文本内容。
入口：调用 fileinput.input(files=[...]) 或直接在命令行传递文件。
动作：使用 for 循环接收迭代器返回的每一行，配合 end='' 防止自动换行干扰原有格式。
参数：传入文件列表或通配符路径。
完成状态：终端按序打印所有文件内容，指针随循环推进。

import fileinput

# 读取单个文件或传入路径列表
for line in fileinput.input(files=['config.txt', 'settings.ini']):
    print(line, end='')

第2步：调用元数据函数追踪当前文件与行号位置

目的：在多文件合并处理时区分来源文件，并定位具体行次。
入口：在迭代循环内访问 fileinput.isfirstline() 及相关属性。
动作：当检测到新文件起始时打印分隔标识；利用行号函数标记输出位置。
参数：依赖模块自动维护的内部计数器。
完成状态：输出结果清晰标注每个文件的起点及对应的全局/局部行号。

import fileinput

for line in fileinput.input(files=['part_a.log', 'part_b.log']):
    if fileinput.isfirstline():
        print(f'\n--- 开始处理: {fileinput.filename()} ---')
    print(f'[全局行{fileinput.lineno()}/文件内行{fileinput.filelineno()}]: {line.strip()}')

第3步：启用原地编辑模式处理多文件并保留备份

目的：批量更新配置文件或清理冗余文本，避免手动逐份编辑的风险。
⚠️ 风险提示：inplace=True 会直接覆盖源文件。务必确认 backup 参数已正确设置，并在生产环境中先对非关键数据进行测试。
入口：fileinput.input(target_file, inplace=True, backup='.bak')
动作：逐行读取目标文件，经字符串处理（如 rstrip() 去除末尾换行）后，将修改结果写入标准输出。由于此时 stdout 已被重定向，修改内容会自动落盘至原文件。
参数：inplace=True 开启重写，backup='.bak' 生成历史快照。
完成状态：原文件被更新后的内容替换，同步生成同名备份文件供回滚使用。

import fileinput

# 批量清理目录下的 log 文件中首尾多余空格
for line in fileinput.input('logs/', backup='.bak', inplace=True):
    # inplace 模式下 print 会自动写入临时文件并最终替换原文件
    print(line.strip(), end='\n')

第4步：结合正则表达式实现条件过滤与内容替换

目的：替代传统 grep 命令进行复杂日志抽取，或执行结构化数据映射转换。
入口：导入 re 编译正则模式，传入文件路径启动迭代。
动作：使用 pattern.search(line) 进行匹配。符合条件时使用 sys.stdout.write() 精准输出，确保不额外引入空格或换行偏差。
参数：re.compile() 预编译提升性能；sys.argv 支持动态传参。
完成状态：终端仅输出匹配行，并附带文件路径与行号索引，方便下游解析。

import sys
import re
import fileinput

# 模拟命令行查询：python grep_log.py "ERROR.*timeout" app.log
pattern = re.compile(sys.argv[1])

for line in fileinput.input(sys.argv[2]):
    if pattern.search(line):
        print(f"[{fileinput.filename()}:{fileinput.filelineno()}] {line.strip()}")

四、注意事项与排错指南

1. 编码与换行符差异：Windows 环境下读取含 CRLF 的文本时，inplace 模式可能产生双重换行。可在循环内使用 line.replace('\r\n', '\n') 统一格式，或通过 openhook=fileinput.hook_encoded('utf-8') 强制指定编码。
2. 无法混合读写：启用 inplace=True 后，底层文件句柄会被锁定用于追加写入，此时再次尝试读取会导致 ValueError。需在单一迭代流程内完成全部逻辑。
3. 命令行参数解析：直接运行 python script.py *.txt 时，Shell 会将通配符展开为独立参数传给 Python。确保使用 glob.glob('*.txt') 或在代码中收集 sys.argv[1:] 作为文件列表传入。

五、总结

fileinput 模块以极简的迭代接口打通了多文件读取、原地重写与元数据追踪的全流程。结合正则表达式与标准输出重定向特性，能够以极少代码行数完成原本需要编写大量样板逻辑的批量文本任务。掌握上述参数组合与边界处理技巧，即可稳定驾驭各类 CLI 数据处理场景。以上就是 Python fileinput 模块多文件遍历与原地修改的详细内容，更多关于 Python 命令行自动化与文本处理技巧的资料请关注本站其它相关文章！