Python3 io模块：内存流、字节包装与文本I/O实战指南

Mason

发布时间：2026-10-13 | 2人浏览过

原创

本文深入解析Python3中io模块的核心组件，涵盖StringIO与BytesIO在内存流处理中的性能优势及测试应用，并详细演示如何利用TextIOWrapper对原始字节流进行编码包装。通过完整代码示例，展示如何高效处理Unicode数据、实现无缓冲写入及字节与文本的无缝转换，适用于网络套接字处理及自动化测试场景。

io模块概述

io模块在解释器内置的open()函数基础上，提供了一系列类以完成基于文件的输入输出操作。这些类经过精心设计，可根据不同需求灵活组合，例如支持向网络套接字写入Unicode数据。

内存中的流处理

1.1 内存中的流

StringIO提供了一种便捷方式，允许使用文件API（如read()、write()等）处理内存中的文本数据。在某些场景下，相较于其他字符串连接技术，使用StringIO构建大字符串能获得更好的性能。此外，内存中的流缓冲区对测试非常有用，因为写入磁盘上的真实文件可能会降低测试套件的速度，而内存操作则无此顾虑。

以下是使用StringIO缓冲区的一些标准示例。


import io
# Writing to a buffer
output = io.StringIO()
output.write('This goes into the buffer. ')
print('And so does this.', file=output)
# Retrieve the value written
print(output.getvalue())
output.close() # discard buffer memory
 
# Initialize a read buffer
input = io.StringIO('Inital value for read buffer')
# Read from the buffer
print(input.read())

该示例使用了read()方法，但同样可以使用readline()和readlines()方法。StringIO类还提供了一个seek()方法，允许在缓冲区中跳转读取文本；若使用前向解析算法，此方法对于回溯处理尤为有用。

若要处理原始字节而非Unicode文本，可以使用BytesIO。


import io
# Writing to a buffer
output = io.BytesIO()
output.write('This goes into the buffer. '.encode('utf-8'))
output.write('ÁÇÊ'.encode('utf-8'))
# Retrieve the value written
print(output.getvalue())
output.close() # discard buffer memory
 
# Initialize a read buffer
input = io.BytesIO(b'Inital value for read buffer')
# Read from the buffer
print(input.read())

写入BytesIO实例的值必须是bytes类型，而不能是str类型。

字节流包装为文本

1.2 为文本数据包装字节流

原始字节流（如套接字）可被包装为一个层，用于处理字符串编码和解码，从而更轻松地处理文本数据。TextIOWrapper类支持读写操作。其中write_through参数用于禁用缓冲，确保写入包装器的所有数据立即刷新至底层缓冲区。


import io
# Writing to a buffer
output = io.BytesIO()
wrapper = io.TextIOWrapper(
  output,
  encoding='utf-8',
  write_through=True,
)
wrapper.write('This goes into the buffer. ')
wrapper.write('ÁÇÊ')
# Retrieve the value written
print(output.getvalue())
output.close() # discard buffer memory
 
# Initialize a read buffer
input = io.BytesIO(
  b'Inital value for read buffer with unicode characters ' +
  'ÁÇÊ'.encode('utf-8')
)
wrapper = io.TextIOWrapper(input, encoding='utf-8')
# Read from the buffer
print(wrapper.read())

此示例使用BytesIO实例作为流。对应的bz2、http.server和subprocess示例展示了如何对其他类型的类似文件的对象使用TextIOWrapper。